[논문 리뷰] Information Geometry of Orthogonal Initializations and Training

Piotr Sokół, Il Memming Park|arXiv (Cornell University)|2018. 10. 09.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망에서 최적화 경로의 최대 곡률—피셔 정보 행렬(FIM)로 측정된 것—과 입력-출력 자코비안의 스펙트럼 반경 사이의 연결 고리를 설정한다. 더 작은 초기 FIM 곡률(자코비안의 최대 특이값이 작을수록)은 더 빠른 학습과 더 나은 일반화와 관련이 있지만, 오히려 곡률이 최소화된 매우 등장성 있는 네트워크는 학습 중 FIM 고유값이 급격히 증가하기 때문에 성능이 떨어진다. 반면, 학습 전반에 걸쳐 직교성을 유지하는 다양체 최적화는 초기 부드러움과는 무관하게 표준 유클리드 최적화를 능가한다. 이는 기울기의 부드러움만으로는 학습 속도의 우월성을 설명할 수 없음을 시사한다.

ABSTRACT

Recently mean field theory has been successfully used to analyze properties of wide, random neural networks. It gave rise to a prescriptive theory for initializing feed-forward neural networks with orthogonal weights, which ensures that both the forward propagated activations and the backpropagated gradients are near $\ell_2$ isometries and as a consequence training is orders of magnitude faster. Despite strong empirical performance, the mechanisms by which critical initializations confer an advantage in the optimization of deep neural networks are poorly understood. Here we show a novel connection between the maximum curvature of the optimization landscape (gradient smoothness) as measured by the Fisher information matrix (FIM) and the spectral radius of the input-output Jacobian, which partially explains why more isometric networks can train much faster. Furthermore, given that orthogonal weights are necessary to ensure that gradient norms are approximately preserved at initialization, we experimentally investigate the benefits of maintaining orthogonality throughout training, from which we conclude that manifold optimization of weights performs well regardless of the smoothness of the gradients. Moreover, motivated by experimental results we show that a low condition number of the FIM is not predictive of faster learning.

연구 동기 및 목표

• 정보 기하학적 관점에서 임계 직교 초기화가 깊이 있는 네트워크에서 더 빠른 학습을 가능하게 하는 이유를 이해하는 것.
• 피셔 정보 행렬(FIM)이 학습 역학과 일반화 성능을 예측하는 데 어떤 역할을 하는지 조사하는 것.
• 학습 중에 직교성을 유지하는 것이 초기 기울기 보존을 넘어서 최적화 성능을 향상시키는지 검토하는 것.
• 매우 등장성 있는 네트워크가 낮은 초기 FIM 곡률을 지닌 것으로도 불구하고 더 느리게 학습되는 역설을 해결하는 것.
• 낮은 FIM 조건수는 더 빠른 학습을 예측할 수 있는가를 평가하는 것—최근의 가정에 도전함.

제안 방법

• 가우스 및 직교 초기화 하에서, FIM의 최대 고유값 λ_max(Ḡ)와 입력-출력 자코비안의 최대 제곱 특이값 s_max² 사이의 새로운 경계를 유도한다.
• 이 경계를 활용해 자코비안 스펙트럼과 매개변수 공간 내 국소 기울기 부드러움 사이의 관계를 분석한다.
• 신경 탄성 커널(NTK) 및 그 스펙트럼적 성질을 활용해 학습 발산 역학을 설명하며, 특히 가장 작은 FIM 고유값의 역할을 분석한다.
• 가중치 직교성을 유지하기 위해 스티엘리 맨포ลด 및 오블리크 다각도에서의 리만 최적화와 유클리드 확률적 경사 하강법의 학습 역학을 비교한다.
• 학습 중 FIM 고유값의 변화를 분석하여 곡률 변화가 학습률과 수렴에 어떤 영향을 미치는지 평가한다.
• Lee 등 [19]의 NTK 이질성에 대한 이론적 경계를 적용하여 FIM 스펙트럼이 일반화 및 학습 안정성과 어떻게 관련되는지 분석한다.

실험 결과

연구 질문

• RQ1 깊이 있는 네트워크에서 피셔 정보 행렬의 최대 고유값은 입력-출력 자코비안의 스펙트럼 반경과 어떻게 관련이 있는가?
• RQ2 낮은 초기 FIM 곡률을 지닌 매우 등장성 있는 네트워크가 유리한 초기화를 가졌음에도 불구하고 왜 더 느리게 학습되는가?
• RQ3 FIM의 조건수는 깊이 있는 신경망에서 더 빠른 학습이나 더 나은 일반화를 예측할 수 있는가?
• RQ4 학습 전반에 걸쳐 직교성을 유지하는 다각도 최적화가 초기 기울기 부드러움과는 무관하게 최적화 속도를 향상시키는가?
• RQ5 NTK 이론이 제기한 바에 따르면, FIM의 가장 작은 고유값이 장기적인 학습 행동을 얼마나 좌우하는가?

주요 결과

• 피셔 정보 행렬의 최대 고유값 λ_max(Ḡ)는 입력-출력 자코비안의 최대 특이값의 제곱 s_max²에 비례하며, 이는 자코비안 스펙트럼과 최적화 곡률 사이의 직접적 연결 고리를 제공한다.
• 더 작은 초기 FIM 곡률(낮은 s_max)을 지닌 네트워크는 더 빠르게 학습되고 더 잘 일반화되지만, 가장 등장성 있는 네트워크(가장 작은 q*)는 학습 중 λ_max(Ḡ)가 급격히 증가하기 때문에 가장 나쁜 성능을 보인다.
• 매우 등장성 있는 네트워크에서의 역설적인 성능 저하의 원인은 선형화된 학습 동역학과 전체 학습 동역학 간의 지수적 발산이며, 이는 가장 작은 FIM 고유값 λ_min(Ḡ)에 의해 지배되며 q*가 감소할수록 증가한다.
• 다양체 정규화 학습(스틸리 맨포ลด 및 오블리크 최적화)은 초기 FIM 곡률에 민감하지 않으며, 초기 부드러움이 더 좋은 유클리드 학습보다 더 빠른 손실 감소를 달성한다.
• 다양체 최적화의 이점은 기울기 부드러움(λ_max(Ḡ)) 향상으로 설명될 수 없으며, 최근의 주장과는 달리 배치 정규화가 유사한 메커니즘을 통해 작용한다는 주장에 도전한다.
• 낮은 FIM 조건수(λ_max/λ_min)는 더 빠른 학습을 예측하지 못하며, 효과적인 최적화를 위해서는 어느 정도의 스펙트럼 이방성(비대칭성)이 필요하다.