[논문 리뷰] New perspectives on the natural gradient method.

James Martens|arXiv (Cornell University)|2014. 12. 03.

Advanced Optimization Algorithms Research참고 문헌 13인용 수 23

한 줄 요약

이 논문은 일반 조건 하에서 피셔 정보 행렬과 슈로드폴의 일반화된 가우스-뉴턴 행렬 간의 등가성을 증명하여 아마리의 자연 경사법의 다양한 변형을 통합한다. 이는 헤시안을 고려하지 않는 최적화가 자연 경사법의 한 형태임을 드러내며, 자연 경사법을 근사 뉴턴 방법으로 재해석함으로써 감쇠 기법의 타당성을 입증하고, 매개변수화 불변성의 특성을 규명한다. 이는 고전적 뉴턴-랩슨 방법에서는 관찰되지 않지만 특정 기울기 기반 방법에서는 존재함을 보여준다.

ABSTRACT

In this report we review and discuss some theoretical aspects of Amari's natural gradient method, provide a unifying picture of the many different versions of it which have appeared over the years, and offer some new insights and perspectives regarding the method and its relationship to other optimization methods. Among our various contributions is the identification of a general condition under which the Fisher information matrix and Schraudolph's generalized Gauss-Newton matrix are equivalent. This equivalence implies that optimization methods which use the latter matrix, such as the Hessian-free optimization approach of Martens, are actually natural gradient methods in disguise. It also lets us view natural gradient methods as approximate Newton methods, justifying the application of various damping techniques to them, which are designed to compensate for break-downs in local quadratic approximations. Additionally, we analyze the parameterization invariance possessed by the natural gradient method in the idealized setting of infinitesimally small update steps, and consider the extent to which it holds for practical versions of the method which take large discrete steps. We go on to show that parameterization invariance is not possessed by the classical Newton-Raphson method (even in the idealized setting), and then give a general characterization of gradient-based methods which do possess it.

연구 동기 및 목표

• 자연 경사법의 다수의 이질적 표현을 일관된 이론적 프레임워크로 통합하기 위해.
• 피셔 정보 행렬과 슈로드폴의 일반화된 가우스-뉴턴 행렬이 동일한 조건에서 등가가 되는 조건을 규명하기 위해.
• 헤시안을 고려하지 않는 최적화가 은폐된 형태로 자연 경사법과 동일시됨을 입증하기 위해.
• 큰 단계를 사용하는 실용적 자연 경사법 구현에서의 매개변수화 불변성의 정도를 분석하기 위해.
• 기울기 기반 최적화 방법 중에서 매개변수화 불변성을 유지하는 방법을 규명하고, 고전적 뉴턴-랩슨 방법과 대조하기 위해.

제안 방법

• 피셔 정보 행렬과 슈로드폴의 일반화된 가우스-뉴턴 행렬 간의 수학적 등가성을 보장하는 일반 조건을 유도한다.
• 발견된 행렬 등가성의 특성을 활용하여 자연 경사법을 근사 뉴턴 방법으로 재해석한다.
• 감쇠 기법을 자연 경사법에 적용하며, 이는 근사 뉴턴 성격과 局부 2차 근사의 붕괴에 기인한 것으로 정당화된다.
• 무한소 단계의 이상적 극한에서 매개변수화 불변성을 분석하며, 미분기하학 원리를 적용한다.
• 동일한 이상적 극한 설정에서 자연 경사법과 고전적 뉴턴-랩슨 방법의 불변성 특성을 비교한다.
• 헤시안 근사의 구조에 기반하여 매개변수화 불변성을 유지하는 기울기 기반 최적화 방법의 일반적 특성화를 제공한다.

실험 결과

연구 질문

• RQ1 피셔 정보 행렬과 슈로드폴의 일반화된 가우스-뉴턴 행렬이 등가가 되는 일반 조건은 무엇인가?
• RQ2 이 두 행렬 간의 등가성이 헤시안을 고려하지 않는 최적화가 자연 경사법의 한 형태임을 어떻게 암시하는가?
• RQ3 자연 경사법이 어떻게 근사 뉴턴 방법으로 간주될 수 있으며, 이는 감쇠 전략에 어떤 함의를 갖는가?
• RQ4 큰 이산 단계를 사용하는 실용적 자연 경사법에서 매개변수화 불변성은 어느 정도 유지되는가?
• RQ5 기울기 기반 최적화 방법 중에서 매개변수화 불변성을 유지하는 방법은 무엇인지, 그리고 고전적 뉴턴-랩슨 방법과 어떻게 다를까?

주요 결과

• 일반 조건 하에서 피셔 정보 행렬과 슈로드폴의 일반화된 가우스-뉴턴 행렬은 등가이며, 이는 두 주요 최적화 프레임워크를 통합한다.
• 마르텐스가 제안한 헤시안을 고려하지 않는 최적화는 이 행렬 등가성 덕분에 은폐된 형태의 자연 경사법임을 입증한다.
• 자연 경사법은 근사 뉴턴 방법으로 재해석될 수 있으며, 이는 局부 2차 근사의 실패를 다룰 수 있도록 감쇠 기법의 사용을 정당화한다.
• 매개변수화 불변성은 무한소 단계의 이상적 극한에서 자연 경사법에 대해 유지되지만, 큰 이산 단계를 사용하는 실용적 구현에서는 손상된다.
• 고전적 뉴턴-랩슨 방법은 이상적 무한소 단계 설정에서도 매개변수화 불변성을 갖지 못한다.
• 헤시안 근사의 구조에 기반하여 매개변수화 불변성을 유지하는 기울기 기반 방법의 일반적 특성화를 제공하며, 이는 뉴턴-랩슨과의 차이점을 드러내고, 헤시안 근사의 구조적 차이를 강조한다.