[논문 리뷰] Efficient Subsampled Gauss-Newton and Natural Gradient Methods for Training Neural Networks

Yi Ren, Donald Goldfarb|arXiv (Cornell University)|2019. 06. 05.

Neural Networks and Applications참고 문헌 21인용 수 12

한 줄 요약

이 논문은 자동 미분를 사용하여 레벤버그-마르카르트 감쇠와 샘플링된 헤시안 행렬을 이용한 서먼-모리슨-우드베리 공식을 적용하여, 깊이 신경망을 훈련하기 위한 효율적인 부분 샘플링된 가우스-뉴턴(SMW-GN) 및 자연 경사법(SMW-NG)을 제안한다. 이 방법은 제1차 방법과 유사한 계산 비용을 유지를 하면서도 제2차 정보를 반영한 빠른 최적화를 가능하게 하며, 반신뢰성 있는 변형에서는 정류점에 수렴하고, 학습률 조정 없이도 SGD, 헤시안-프리(HF), KFAC 방법보다 훈련 속도와 일반화 성능에서 뛰어나다.

ABSTRACT

We present practical Levenberg-Marquardt variants of Gauss-Newton and natural gradient methods for solving non-convex optimization problems that arise in training deep neural networks involving enormous numbers of variables and huge data sets. Our methods use subsampled Gauss-Newton or Fisher information matrices and either subsampled gradient estimates (fully stochastic) or full gradients (semi-stochastic), which, in the latter case, we prove convergent to a stationary point. By using the Sherman-Morrison-Woodbury formula with automatic differentiation (backpropagation) we show how our methods can be implemented to perform efficiently. Finally, numerical results are presented to demonstrate the effectiveness of our proposed methods.

연구 동기 및 목표

• 완전한 헤시안 정보를 포함하면서도 계산 효율성을 유지하는 제2차 최적화 방법을 개발하는 것.
• 대규모 딥러닝에서 전체 헤시안 역행렬의 높은 계산 비용 문제를 해결하기 위해 부분 샘플링된 가우스-뉴턴 및 피셔 정보 행렬을 사용하는 것.
• 제2차 방법의 곡률 인식 장점을 스며든 최적화의 확장성과 융합하는 알고리즘 설계.
• 완전한 기울기와 미니배치 헤시안 근사치를 사용하는 반신뢰성 변형의 수렴성을 증명하는 것.
• 학습률 조정 없이도 SGD, 헤시안-프리, KFAC 방법과 비교해 훈련 속도와 일반화 성능에서 경쟁력을 확보하는 것.

제안 방법

• 최적화의 안정성을 높이기 위해 부분 샘플링된 가우스-뉴턴 또는 피셔 정보 행렬에 레벤버그-마르카르트 감쇠 항을 추가한다.
• 자동 미분(역전파)를 이용해 서먼-모리슨-우드베리 공식을 적용하여 감쇠된 헤시안 근사치를 효율적으로 역행렬화한다.
• 가우스-뉴턴 및 피셔 행렬의 크로네커 분해된 구조를 활용하여 행렬 형성 및 역행렬화에 O(n) 시간 복잡도를 달성한다.
• 반신뢰성 변형은 완전한 기울기와 미니배치 헤시안 근사치를 조합하며, 이는 정류점 수렴을 증명한 바 있다.
• 완전히 스트로스틱인 변형은 부분 샘플링된 기울기와 헤시안 근사치만을 사용하여, 파rameter 조정 없이도 빠르고 적응형 업데이트를 가능하게 한다.
• 행렬 $ D_t $ 와 관련된 항의 계산을 병렬화함으로써 알고리즘이 효율적으로 구현되며, 제2차 비용이 기울기 평가 수준과 유사해진다.

실험 결과

연구 질문

• RQ1 부분 샘플링된 가우스-뉴턴 및 자연 경사법은 제1차 방법과 유사한 계산 비용을 유지하면서도 딥러닝에서 빠른 수렴을 달성할 수 있는가?
• RQ2 완전한 헤시안 행렬의 역행렬을 계산하지 않고도 대규모 신경망 훈련에 효과적으로 제2차 곡률 정보를 통합할 수 있는가?
• RQ3 완전한 기울기와 미니배치 헤시안 근사치를 사용하는 반신뢰성 변형에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ4 실제 적용에서 SGD, 헤시안-프리, KFAC 방법과 비교해 훈련 속도, 손실 감소 및 일반화 성능 측면에서 이 방법들은 어떻게 성능을 내는가?
• RQ5 제안된 방법은 학습률 수동 조정 없이도 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• SMW-GN 방법은 모든 테스트 데이터셋에서 헤시안-프리(HF) 방법보다 훈련 에포크 수와 실제 시간 측정 모두에서 빠르게 수렴한다.
• SMW-GN는 학습률을 보수적으로 설정한 경우에도 SGD보다 더 빠른 수렴을 보이며, 하이퍼파rameter 조정 없이도 경쟁력 있는 성능을 발휘한다.
• CIFAR-10 데이터셋에서 KFAC는 넓은 레이어를 가진 네트워크에서 상당히 느려지지만, SMW-GN는 안정적인 성능을 유지한다.
• MNIST 데이터셋에서 SMW-GN는 고정된 학습률 0.1을 사용함에도 불구하고 SGD보다 더 낮은 훈련 손실에 더 빨리 도달하여 강건성을 입증한다.
• 철저한 학습률 조정을 거친 후 SGD는 MNIST에서 제2차 방법과 유사한 성능을 내지만, SMW-GN는 조정 없이도 유사하거나 더 나은 결과를 달성한다.
• SMW-GN 및 SMW-NG의 반신뢰성 변형은 정류점으로의 수렴이 증명되어 실용적 사용에 대한 이론적 보장을 제공한다.