[논문 리뷰] Natural Neural Networks

Guillaume Desjardins, Karen Simonyan외 2명|arXiv (Cornell University)|2015. 12. 07.

Advanced Neural Network Applications참고 문헌 25인용 수 84

한 줄 요약

이 논문은 자연 신경망(Natural Neural Networks)을 소개한다. 이는 활성화값의 은닉층별 화이트닝을 통해 피셔 정보행렬의 조건수를 적응적으로 향상시켜 학습을 가속화하는 알고리즘의 일족이다. Projected Natural Gradient Descent (PRONG) 알고리즘을 사용함으로써 재매개변수화 비용을 효율적으로 분산 처리하고, 지도 및 비지도 학습 모두에서 빠른 수렴을 달성하며, 대규모 ImageNet 학습을 포함한다.

ABSTRACT

We introduce Natural Neural Networks, a novel family of algorithms that speed up convergence by adapting their internal representation during training to improve conditioning of the Fisher matrix. In particular, we show a specific example that employs a simple and efficient reparametrization of the neural network weights by implicitly whitening the representation obtained at each layer, while preserving the feed-forward computation of the network. Such networks can be trained efficiently via the proposed Projected Natural Gradient Descent algorithm (PRONG), which amortizes the cost of these reparametrizations over many parameter updates and is closely related to the Mirror Descent online learning algorithm. We highlight the benefits of our method on both unsupervised and supervised learning tasks, and showcase its scalability by training on the large-scale ImageNet Challenge dataset.

연구 동기 및 목표

• 피셔 정보행렬의 나쁜 조건수로 인한 신경망 학습의 느린 수렴 문제를 해결하기 위해.
• 전방전파 계산을 방해하지 않으면서 학습 중에 신경망의 내부 표현을 동적으로 향상시키는 방법을 개발하기 위해.
• 다중 업데이트에 걸쳐 재매개변수화 비용을 분산 처리할 수 있는 효율적인 최적화 알고리즘을 설계하기 위해.
• ImageNet과 같은 소규모 및 대규모 학습 작업에서의 확장성과 성능 향상을 입증하기 위해.
• 표준 백프로파게이션의 계산 효율성을 유지하면서 최적화 역학을 향상시키기 위해.

제안 방법

• 각 층에서 활성화값의 은닉층별 화이트닝을 통해 네트워크 가중치를 재매개변수화함으로써 피셔 행렬의 조건수를 향상시킴.
• 재매개변수화 업데이트를 표준 최적화 단계에 통합한 Projected Natural Gradient Descent (PRONG) 알고리즘을 적용함.
• PRONG는 미러 강화의 변종으로 간주되어 네트워크 내부 표현의 효율적이고 온라인 적응을 가능하게 함.
• 재매개변수화는 암시적으로 적용되어 원래의 전방전파 계산 그래프를 유지하고 계산 오버헤드를 방지함.
• 알고리즘은 다수의 파라미터 업데이트에 걸쳐 재매개변수화 비용을 분산 처리하여 효율성을 확보함.
• 표준 백프로파게이션과 스토하스틱 경사하강법과의 완전한 호환성을 유지함.

실험 결과

연구 질문

• RQ1 신경망 가중치의 적응형 재매개변수화가 피셔 정보행렬의 조건수를 향상시켜 최적화 수렴을 향상시킬 수 있는가?
• RQ2 전방전파 계산을 방해하지 않으면서 학습 중에 재매개변수화를 효율적으로 적용할 수 있는가?
• RQ3 Projected Natural Gradient Descent (PRONG) 알고리즘이 재매개변수화 비용을 효과적으로 분산 처리하면서도 학습 안정성을 유지할 수 있는가?
• RQ4 이 방법은 ImageNet과 같은 대규모 데이터셋에 효과적으로 스케일업 가능한가?
• RQ5 암시적 화이트닝이 명시적 재매개변수화와 비교해 최적화 속도와 정확도 측면에서 어떻게 성능을 냈는가?

주요 결과

• 제안된 자연 신경망은 피셔 정보행렬의 조건수를 향상시킴으로써 지도 및 비지도 학습 과제에서 더 빠른 수렴을 달성한다.
• PRONG 알고리즘은 다수의 업데이트에 걸쳐 계산 비용을 분산 처리함으로써 효율적인 재매개변수화를 가능하게 하여 높은 학습 효율성을 유지한다.
• 표준 신경망의 전방전파 계산을 그대로 유지하면서 암시적 화이트닝을 통해 최적화 역학을 향상시킨다.
• 이 방법은 대규모 데이터셋에 효과적으로 스케일업되어 ImageNet 챌린지 데이터셋에서 성공적인 학습을 수행함을 입증했다.
• 암시적 재매개변수화는 추가적인 하이퍼파rameter나 계산 병목 현상 없이 최적화 안정성과 수렴 속도를 향상시킨다.
• 다양한 아키텍처와 학습 과제에서 일관된 성능 향상을 보이며 일반화 가능성의 높음을 입증했다.