[논문 리뷰] Optimizing Neural Networks with Kronecker-factored Approximate Curvature

James Martens, Roger Grosse|arXiv (Cornell University)|2015. 03. 19.

Neural Networks and Applications참고 문헌 47인용 수 290

한 줄 요약

이 논문은 신경망 학습을 위한 효율적인 근사 자연 경사법인 크로네커 분해 근사 곡률(Kronecker-factored Approximate Curvature, K-FAC)을 소개한다. 피셔 정보 행렬을 더 작은 행렬들의 크로네커 tích으로 근사함으로써 K-FAC는 빠른 역행렬 계산을 가능하게 하며, 큰 곡률 인식 업데이트를 실현하여 실질적으로 SGD와 모멘타움을 초월한다. 깊이 있는 오토인코더 벤치마크에서 학습 반복 횟수를 수개월 정도 줄였다.

ABSTRACT

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-Factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

연구 동기 및 목표

• 정확한 자연 경사나 헤시안-프리 방법의 계산 부담을 피하면서도 확장 가능하고 곡률 인식이 가능한 깊이 신경망 최적화 방법을 개발하기 위해.
• 헤시안-프리 최적화에서 공액 기울기와 같은 1차 방법의 비효율성을 해결하기 위해, 고품질의 비대각 곡률 근사를 직접 효율적으로 역행렬화할 수 있도록 하기 위해.
• 대부분의 경우 대각 또는 저질서 행렬이 아니지만 다항 시간 내에 역행렬이 가능한 곡률 근사를 설계하기 위해.
• 특수한 초모수 조정 없이도 깊이 신학습 벤치마크에서 SGD와 모멘타움보다 더 빠른 수렴을 달성하기 위해.
• 동기화가 병목이 되는 분산 학습 환경에서 효율적인 학습을 가능하게 하기 위해 최소한의 최적화 단계 수를 확보하기 위해.

제안 방법

• 층별로 나누어진 피셔 정보 행렬을 근사하기 위해 각 층의 블록을 더 작은 두 행렬의 크로네커 tích으로 모델링함으로써, 층 기울기의 통계적 가정을 활용한다.
• 빠른 역행렬 계산을 위해 근사 피셔 행렬의 역행렬에 블록 대각 또는 블록 삼중대각 구조를 사용하며, 작은 행렬의 분해(예: SVD)를 통해 역행렬을 계산한다.
• 작은 배치를 사용하여 곡률 근사를 온라인으로 유지하여 다시 계산하지 않고도 점진적으로 업데이트할 수 있도록 한다.
• 다양한 정규화나 덤프링을 포함한 곡률 근사를 기반으로 한 이차 모델 최적화 프레임워크에 통합하여 업데이트의 안정성과 수렴 성능을 향상시킨다.
• 작은 배치 크기의 증가 스케줄과 함께 곡률 보정 단계를 조합하는 모멘타움 유사 업데이트 규칙을 적용하여 기울기의 확률적 성격을 다룬다.
• 매트릭스-매트릭스 곱셈과 저질서 분해 기법을 사용하여, 큰 네트워크에서도 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 비대각, 저질서가 아닌 피셔 정보 행렬 근사가 충분히 효율적으로 역행렬이 가능할 수 있을까? 이를 통해 깊이 신경망에서 실용적인 자연 경사 최적화가 가능할까?
• RQ2 층별 피셔 블록에 대한 크로네커 곱 근사는 충분한 곡률 정보를 유지하여 표준 SGD와 모멘타움을 초월할 수 있을까?
• RQ3 작은 배치 학습과 같은 높은 확률적 환경에서도 곡률 근사를 온라인으로 업데이트하면서도 효과를 유지할 수 있을까?
• RQ4 깊이 오토인코더 벤치마크에서 K-FAC는 잘 튜닝된 SGD와 모멘타움에 비해 수렴 속도와 샘플 효율성 면에서 어떻게 비교될까?
• RQ5 K-FAC는 수렴에 필요한 반복 횟수를 얼마나 줄일 수 있으며, 이는 더 효율적인 분산 학습을 가능하게 할 수 있을까?

주요 결과

• K-FAC는 깊이 오토인코더 벤치마크에서 SGD와 모멘타움보다 훨씬 더 빠른 수렴을 달성하여 반복 횟수를 수개월 정도 줄였다.
• 블록 대각 버전의 K-FAC는 블록 삼중대각 버전보다 반복당 진전률이 25%에서 40% 더 높았으며, 후자는 더 높은 계산 비용을 지닌다.
• 블록 대각 K-FAC는 블록 삼중대각 버전과 유사한 초당 진전률을 달성하여 실용적 사용에 더 좋은 성능-비용 균형을 이룬다.
• K-FAC의 곡률 근사는 큰 배치 크기와 높은 확률적 성격에도 효과를 유지했으며, 고정된 곡률 추정에 의존하는 방법과는 달리 안정적이었다.
• 초모수 조정에 대해 매우 강건했으며, 최적 성능를 내기 위해 몇 가지 핵심 설정(예: 배치 크기 증가)만 필요로 했다.
• 반복 횟수가 매우 적기 때문에 K-FAC는 동기화가 병목이 되는 대규모 분산 학습에 이상적이다.