[논문 리뷰] Understanding Approximate Fisher Information for Fast Convergence of Natural Gradient Descent in Wide Neural Networks

Ryo Karakida, Kazuki Osawa|arXiv (Cornell University)|2020. 10. 02.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 15

한 줄 요약

이 논문은 넓은 완전 연결 신경망에서 자연 경사 하강법(Natural Gradient Descent, NGD)과 다양한 근사 페시 정보 행렬(예: 블록 대각, 블록 삼중대각, K-FAC, 단위별 근사)을 사용할 경우, 정확한 NGD와 동일한 빠른 수렴 속도로 전역 최소값에 도달할 수 있음을 이론적으로 입증한다. 핵심 통찰은 이러한 근사가 기능 공간에서 등방성( isotropic ) 기울기를 유도한다는 점이며, 이는 신경 터널링 커널(NTK)과 무관하게 빠른 수렴을 가능하게 한다. 특히 특정 조건(네트워크의 넓이와 학습률)을 만족할 경우, 계층별 또는 단위별 근사에서도 성립한다.

ABSTRACT

Natural Gradient Descent (NGD) helps to accelerate the convergence of gradient descent dynamics, but it requires approximations in large-scale deep neural networks because of its high computational cost. Empirical studies have confirmed that some NGD methods with approximate Fisher information converge sufficiently fast in practice. Nevertheless, it remains unclear from the theoretical perspective why and under what conditions such heuristic approximations work well. In this work, we reveal that, under specific conditions, NGD with approximate Fisher information achieves the same fast convergence to global minima as exact NGD. We consider deep neural networks in the infinite-width limit, and analyze the asymptotic training dynamics of NGD in function space via the neural tangent kernel. In the function space, the training dynamics with the approximate Fisher information are identical to those with the exact Fisher information, and they converge quickly. The fast convergence holds in layer-wise approximations; for instance, in block diagonal approximation where each block corresponds to a layer as well as in block tri-diagonal and K-FAC approximations. We also find that a unit-wise approximation achieves the same fast convergence under some assumptions. All of these different approximations have an isotropic gradient in the function space, and this plays a fundamental role in achieving the same convergence properties in training. Thus, the current study gives a novel and unified theoretical foundation with which to understand NGD methods in deep learning.

연구 동기 및 목표

• 실제로 높은 계산 비용에도 불구하고 페시 정보 행렬(FIM)의 히우리스틱 근사가 잘 작동하는 이유를 이론적으로 설명할 수 있는 격차를 메우기 위해.
• 딥 네트워크의 무한한 넓이 극한에서 근사 FIM을 사용하는 NGD의 渐近적 학습 역학을 분석하기 위해.
• 다양한 FIM 근사(예: 블록 대각, K-FAC, 단위별)가 정확한 NGD의 빠른 수렴을 유지하는 정확한 조건을 규명하기 위해.
• 기능 공간 기울기의 등방성( isotropy )이 다양한 NGD 근사 간 빠른 수렴을 통합하는 원리로서의 역할을 명확히 하기 위해.

제안 방법

• 연구는 넓은 완전 연결 신경망에서 무한한 넓이 극한을 고려하여 기능 공간에서의 학습 역학을 분석하기 위해 신경 터널링 커널(NTK) 프레임워크를 사용한다.
• 근사 FIM을 사용하는 NGD의 渐近적 역학을 유도하고, 특정 조건 하에서 정확한 NGD와 기능 공간에서 동치임을 보여준다.
• 분석은 계층별 근사(블록 대각, 블록 삼중대각, K-FAC)와 단위별 근사에 집중하며, 학습률이 네트워크 넓이 또는 샘플 크기와 적절히 스케일링될 경우, 정확한 NGD와 동일한 수렴 행동을 보임을 증명한다.
• FIM의 역행렬을 안정화하기 위해 양수인 덤프링 파라미터 ρ > 0을 도입하고, 선형화된 동역학과 진정한 동역학 간의 편차에 대한 경계를 유도하며, M → ∞의 극한에서 수렴함을 보였다.
• 빠른 수렴을 가능하게 하는 핵심 메커니즘은 근사된 FIM의 구조에서 유도되는 기능 공간에서의 기울기 등방성( isotropy )임을 확립하였다.
• 수치 실험을 통해 이론적 예측을 검증하였으며, 특히 단위별 NGD의 경우 이론적 수렴 속도와 실제 학습 역학을 비교하여 결과를 확인하였다.

실험 결과

연구 질문

• RQ1 블록 단위 또는 단위별 FIM 근사를 사용하는 근사 NGD가 넓은 신경망에서 정확한 NGD와 동일한 빠른 수렴을 달성할 수 있는 조건은 무엇인가?
• RQ2 실제로 K-FAC나 블록 대각과 같은 FIM 근사가 이론적 불확실성에도 불구하고 잘 작동하는 이유는 무엇인가?
• RQ3 기능 공간에서의 빠른 수렴을 보장하는 FIM 근사의 구조적 특성은 무엇이며, NTK와의 관계는 어떠한가?
• RQ4 기능 공간에서의 기울기 등방성은 다양한 FIM 근사에서 어떻게 유도되며, 왜 빠른 수렴에 핵심적인가?

주요 결과

• 무한한 넓이 극한에서 깊은 신경망에서 블록 대각, 블록 삼중대각, K-FAC, 단위별 FIM 근사를 사용하는 근사 NGD는 정확한 NGD와 동일한 빠른 수렴 속도로 전역 최소값에 도달한다.
• 학습률이 네트워크 넓이 또는 샘플 크기와 적절히 스케일링될 경우, 모든 이 근사와 정확한 NGD 사이의 기능 공간 수렴 역학은 동일하다.
• 빠른 수렴을 가능하게 하는 핵심 메커니즘은 기능 공간에서의 기울기 등방성( isotropy )이며, 이는 근사된 FIM의 구조에서 유도되며 NTK와는 무관하다.
• 단위별 NGD는 덤프링 파라미터 ρ > 0 이지만 0이 아닌 조건 하에서 빠른 수렴을 달성하며, 수렴 속도는 A³ρ⁻⁶/√M 으로 유계이며 M → ∞ 일 때 0으로 수렴한다.
• 수치 실험을 통해 블록 단위 및 단위별 근사에서는 등방성 조건이 성립하는 반면, 항목별 대각 근사에서는 실패함을 확인하였으며, 이는 그들의 열악한 성능을 설명한다.
• 매개변수 공간에서의 학습 역학은 다양한 근사 방법 간에 다르게 나타나, 이는 동일한 기능 공간 역학에도 불구하고 다른 전역 최소값과 테스트 예측을 초래한다.