[논문 리뷰] New insights and perspectives on the natural gradient method

James Martens|arXiv (Cornell University)|2014. 12. 03.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 95

한 줄 요약

이 논문은 자연 경사법을 피셔 정보 행렬을 헤시안 행렬의 근사로 사용하는 2차 최적화 기법으로 재해석하며, 많은 경우에서 일반화된 가우스-뉴턴 행렬과의 동치성을 입증한다. 볼록 2차 목표 함수에 대한 확률적 자연 경사 하강법의 이론적 수렴 속도를 확립하고, 경험적 피셔 행렬 근사의 한계를 비판하며, 자연 경사법이 근사적인 매개변수화 불변성을 유지함을 보이며, 신뢰 영역과 티호노프 정규화를 통한 실용적 설계 통찰을 제공한다.

ABSTRACT

Natural gradient descent is an optimization method traditionally motivated from the perspective of information geometry, and works well for many applications as an alternative to stochastic gradient descent. In this paper we critically analyze this method and its properties, and show how it can be viewed as a type of 2nd-order optimization method, with the Fisher information matrix acting as a substitute for the Hessian. In many important cases, the Fisher information matrix is shown to be equivalent to the Generalized Gauss-Newton matrix, which both approximates the Hessian, but also has certain properties that favor its use over the Hessian. This perspective turns out to have significant implications for the design of a practical and robust natural gradient optimizer, as it motivates the use of techniques like trust regions and Tikhonov regularization. Additionally, we make a series of contributions to the understanding of natural gradient and 2nd-order methods, including: a thorough analysis of the convergence speed of stochastic natural gradient descent (and more general stochastic 2nd-order methods) as applied to convex quadratics, a critical examination of the oft-used "empirical" approximation of the Fisher matrix, and an analysis of the (approximate) parameterization invariance property possessed by natural gradient methods (which we show also holds for certain other curvature, but notably not the Hessian).

연구 동기 및 목표

• 자연 경사법을 피셔 정보 행렬을 헤시안 행렬의 대체로 사용하는 2차 최적화 접근법으로 재구성한다.
• 볼록 2차 목표 함수에 대한 확률적 자연 경사 하강법의 수렴 속도를 분석한다.
• 광범위하게 사용되는 경험적 피셔 근사의 한계를 비판적으로 평가한다.
• 자연 경사법의 매개변수화 불변성 성질을 다른 곡률 기반 방법과 비교하여 조사한다.
• 신뢰성 있는 자연 경사 최적화기 설계를 위한 실용적 원칙을 제공한다. 이는 덤핑 및 정규화 기법 포함.

제안 방법

• 자연 경사 하강법을 피셔 정보 행렬을 헤시안 근사로 간주함으로써 2차 최적화 방법으로 재해석한다.
• 많은 경우에서 피셔 행렬이 일반화된 가우스-뉴턴 행렬과 동일함을 입증하며, 특히 지수족 우도를 가진 신경망에서 특히 그렇다.
• 자연 경사 갱신의 안정성을 향상시키기 위해 신뢰 영역과 티호노프 정규화를 활용하여 실용적 성능을 개선한다.
• 재귀 부등식에서 유도된 경계를 사용하여 볼록 2차 목표 함수에 대한 확률적 자연 경사 하강법의 수렴 속도를 분석한다.
• 재정의에 따라 경로 동치성을 연구하기 위해 연속 시간 근사 분석을 사용하며, 균일 연속성 및 유계 조건에 의존한다.
• 다른 매개변수화 방식에서 자연 경사 경로 간 오차의 이론적 경계를 유도하여, 특정 조건 하에서 점근적 경로 동치성을 입증한다.

실험 결과

연구 질문

• RQ1 자연 경사법은 뉴턴의 방법과 같은 전통적인 2차 최적화 방법과 어떻게 관련이 있는가?
• RQ2 볼록 2차 목표 함수에 대한 확률적 자연 경사 하강법의 수렴 속도는 어떠한가?
• RQ3 왜 경험적 피셔 근사는 진정한 피셔 행렬의 핵심 기하적 성질을 유지하지 못하는가?
• RQ4 자연 경사법이 유한한 스텝 사이즈 조건 하에서도 실질적으로 매개변수화 불변성을 얼마나 잘 유지하는가?
• RQ5 신뢰 영역과 티호노프 정규화를 어떻게 활용하여 자연 경사 최적화의 안정성과 강건성을 향상시킬 수 있는가?

주요 결과

• 지수족 우도를 가진 모델에서 중요한 많은 경우에서 피셔 정보 행렬이 일반화된 가우스-뉴턴 행렬과 동일함을 입증한다.
• 볼록 2차 목표 함수에 대한 확률적 자연 경사 하강법은 헤시안의 조건수와 피셔 행렬의 곡률에 따라 수렴 속도가 달라지며, 재귀 부등식을 통해 명시적인 경계가 도출된다.
• 경험적 피셔 근사는 진정한 자연 경사법의 매개변수화 불변성 성질을 유지하지 못하여, 많은 적용 분야에서 이론적 타당성을 약화시킨다.
• 자연 경사 하강법은 갱신 방향이 균일 연속적이며 스텝 사이즈가 0으로 수렴할 때에만 유한한 스텝 사이즈 조건 하에서 근사적인 매개변수화 불변성을 유지한다.
• 신뢰 영역과 티호노프 정규화는 특히 근사 피셔 행렬을 사용할 경우 자연 경사 갱신을 안정화시키는 데 필수적임을 입증한다.
• 이론적 분석을 통해 근사 곡률 행렬을 사용하더라도 자연 경사 갱신 경로가 진정한 자연 경사법의 연속 궤적으로 수렴함을 확인한다. 이는 미약한 정규성 조건 하에서도 성립한다.