[논문 리뷰] Universal Statistics of Fisher Information in Deep Neural Networks: Mean Field Approach

Ryo Karakida, Shotaro Akaho외 1명|arXiv (Cornell University)|2018. 06. 04.

Neural Networks and Applications참고 문헌 46인용 수 50

한 줄 요약

이 논문은 무작위 가중치를 가진 넓이가 큰 심층 네트워크의 Fisher 정보 행렬(FIM)에 대한 보편적 점근 통계치를 도출하고, 많은 고유값이 0에 가깝고 몇 개의 값은 매우 큰 것을 보이며 이를 학습 전략과 연결한다.

ABSTRACT

The Fisher information matrix (FIM) is a fundamental quantity to represent the characteristics of a stochastic model, including deep neural networks (DNNs). The present study reveals novel statistics of FIM that are universal among a wide class of DNNs. To this end, we use random weights and large width limits, which enables us to utilize mean field theories. We investigate the asymptotic statistics of the FIM's eigenvalues and reveal that most of them are close to zero while the maximum eigenvalue takes a huge value. Because the landscape of the parameter space is defined by the FIM, it is locally flat in most dimensions, but strongly distorted in others. Moreover, we demonstrate the potential usage of the derived statistics in learning strategies. First, small eigenvalues that induce flatness can be connected to a norm-based capacity measure of generalization ability. Second, the maximum eigenvalue that induces the distortion enables us to quantitatively estimate an appropriately sized learning rate for gradient methods to converge.

연구 동기 및 목표

• FIM(Fisher 정보 행렬)을 활용하여 넓고 무작위로 초기화된 DNN 전반에 걸친 매개변수 공간의 보편적 기하학적 관점을 동기 부여한다.
• 평균장 이론을 통해 넓이가 큰 한계에서 FIM 고유값의 점근 통계치(평균, 분산, 최대값)를 도출한다.
• 망의 거시적, 층별 변수들이 재귀 관계를 통해 FIM 통계치를 지배하는 방식을 보인다.
• 학습에 대한 실용적 함의를 탐구하며, Fisher-Rao 노름 해석과 경사 방법에 대한 학습률 가이드를 포함한다.

제안 방법

• 평균장 분석을 가능하게 하기 위해 넓이가 큰 무작위 연결과 고정된 층별 너비 비율을 채택한다.
• 전방/역전파 재귀를 통해 거시적 차수 파라미터(hat{q}^l, hat{q}_{st}^l, tilde{q}^l, tilde{q}_{st}^l)를 정의하고 계산한다.
• 대칭 행렬 F^*를 이용해 큰 M 한계에서 FIM의 고유값 통계치를 도출한다.
• 거시적 변수로 표현된 평균, 이차 모멘트, 최대 고유값을 제공하는 정리 1–4를 확립한다.
• 정리 5(Fisher-Rao 노름)과 정리 7(임계 학습률)을 통해 FIM 통계와 학습 전략을 연관시킨다.

실험 결과

연구 질문

• RQ1 랜덤 가중치를 가진 심층 네트워크의 FIM 고유값이 아키텍처에 걸쳐 보편적 점근 통계를 보이는가?
• RQ2 네트워크 너비와 깊이에 따라 FIM의 평균, 분산, 최대 고유값이 어떻게 스케일링되는가?
• RQ3 거시적 평균장 변수들이 층별 재귀를 통해 FIM 통계치를 완전히 결정할 수 있는가?
• RQ4 FIM에서 도출된 통계치를 일반화 능력 척도와 실용적 학습률에 어떻게 반영할 수 있는가?
• RQ5 자연 기울기나 모멘텀 기반 SGD와 같은 최적화 방법에 대한 FIM 기하학의 시사점은 무엇인가?

주요 결과

• FIM 고유값의 평균은 m_{lambda} = C kappa_{1} / M로 스케일하며 O(1/M)로 사라진다.
• 이차 모멘트 s_{lambda}는 O(1)으로 다수의 0에 가까운 고유값과 무거운 꼬리를 나타낸다.
• 최대 고유값은 lambda_max = alpha ((T-1)/T kappa_{2} + (1/T) kappa_{1}) M 로 스케일하며 크고 지배적인 방향을 나타낸다.
• Fisher-Rao 노름은 경계될 수 있으며, 넓이가 큰 극한에서 주로 kappa_{1}에 의해 지배된다(정리 5).
• 학습률 상한이 도출되며: eta_c = 2(1+mu) / ( alpha ((T-1)/T kappa_{2} + (1/T) kappa_{1}) M ), 수렴을 안내한다(정리 7).
• 대형 M에 대해 tanh, ReLU, 선형 활성화에서 실험과 이론이 일치한다.