[논문 리뷰] PILAE: A Non-gradient Descent Learning Scheme for Deep Feedforward Neural Networks

Ping Guo, Wang, K.외 1명|arXiv (Cornell University)|2018. 11. 05.

Machine Learning and ELM참고 문헌 60인용 수 14

한 줄 요약

이 논문은 백프로파게이션 없이 직접 기저 및 복원 가중치를 계산하는 비경사하강 학습 방법인 PILAE를 제안한다. 이 방법은 의사역행렬 학습과 저랭크 근사법을 사용하여 딥 피드포워드 신경망의 가중치를 직접 계산한다. 기존의 경사하강 기반 방법에 비해 훨씬 적은 초파rameter 조정과 함께 높은 분류 정확도를 달성하며, 자동화된 머신러닝(AutoML)을 위한 준자동화된 대안으로서의 위치를 확립한다.

ABSTRACT

In this work, a non-gradient descent learning (NGDL) scheme was proposed for deep feedforward neural networks (DNN). It is known that an autoencoder can be used as the building blocks of the multi-layer perceptron (MLP) DNN, the MLP is taken as an example to illustrate the proposed scheme of pseudoinverse learning algorithm for autoencoder (PILAE) in this paper. The PILAE with low rank approximation is a NGDL algorithm, and the encoder weight matrix is set to be the low rank approximation of the pseudoinverse of the input matrix, while the decoder weight matrix is calculated by the pseudoinverse learning algorithm. It is worth to note that only very few network structure hyper-parameters need to be tuned compared with classical gradient descent learning algorithm. Hence, the proposed algorithm could be regarded as a quasi-automated training algorithm which could be utilized in automated machine learning field. The experimental results show that the proposed learning scheme for DNN could achieve better performance on considering the tradeoff between training efficiency and classification accuracy.

연구 동기 및 목표

• 백프로파게이션과 반복 최적화를 피하는 딥 피드포워드 신경망을 위한 비경사하강 학습 알고리즘을 개발한다.
• 기존의 경사하강 기반 방법에 비해 광범위한 초파라미터 조정이 필요로 하는 것을 줄인다.
• 자동화된 머신러닝(AutoML) 응용 분야에 적합한 준자동화된 훈련을 가능하게 한다.
• 직접적인 가중치 계산을 통해 훈련 효율성을 향상시키면서도 높은 분류 정확도를 유지한다.
• 다층퍼셉트론(Multi-layer perceptrons)을 위한 깊이 있는 오토에인코드어 아키텍처에서 의사역행렬 기반 학습의 가능성을 입증한다.

제안 방법

• 에코더 가중치 행렬은 입력 데이터 행렬의 의사역행렬에 대한 저랭크 근사로 설정된다.
• 디코더 가중치 행렬은 에코더에서 재구성된 데이터를 사용하여 의사역행렬 학습 알고리즘을 통해 계산된다.
• 계산 효율성을 위해 단일값 분해(Singular Value Decomposition, SVD)를 활용하여 의사역행렬의 저랭크 근사를 계산한다.
• 아키텍처는 오토에인코드어를 빌딩 블록으로 사용하며, 기저 및 복원 가중치는 기울기 업데이트 없이 데이터로부터 직접 유도된다.
• 백프로파게이션과 반복 최적화를 피하고, 대신 직접적인 행렬 역행렬 계산과 SVD 기반 근사를 기반으로 한다.
• 이 학습 체계는 다층퍼셉트론(MLP) 네트워크에 적용되며, 각 오토에인코드어 레이어를 깊이 있는 네트워크의 구성 요소로 간주한다.

실험 결과

연구 질문

• RQ1 백프로파게이션 없이도 비경사하강 방법이 딥 피드포워드 네트워크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 의사역행렬과 저랭크 근사를 사용할 경우, 경사하강 기반 방법에 비해 분류 정확도와 훈련 속도에 어떤 영향을 미치는가?
• RQ3 이러한 직접적인 행렬 계산 방식을 통해 딥 러닝에서 초파라미터 조정의 범위를 어느 정도 줄일 수 있는가?
• RQ4 이 방법은 오토에인코드어 기반의 딥 네트워크, 예를 들어 MLP와 같이 효과적으로 적용될 수 있는가?
• RQ5 이러한 방법은 자동화된 머신러닝(AutoML) 파이프라인에 통합되기 적합한가?

주요 결과

• PILAE 방법은 벤치마크 데이터셋에서 경쟁 가능한 분류 정확도를 달성하여, 경사하강을 사용하지 않더라도 강력한 일반화 성능을 보였다.
• 백프로파게이션과 반복 최적화 단계의 제거로 인해 훈련 효율성이 크게 향상되었다.
• 기존의 표준 경사하강 기반 훈련에 비해 조정이 필요한 초파라미터 수가 극적으로 감소했다.
• 저랭크 근사를 사용함으로써 계산의 실현 가능성을 유지하면서도 모델 성능을 그대로 유지했다.
• 이 방법은 AutoML 응용 분야에 적합한 준자동화된 훈련 방법으로서의 잠재력을 보였다.
• 실험 결과는 PILAE가 훈련 속도와 분류 정확도 사이에 유리한 트레이드오프를 제공함을 확인했다.