[논문 리뷰] Limitations of the Empirical Fisher Approximation.

Frederik Künstner, Lukas Balles외 1명|arXiv (Cornell University)|2019. 05. 29.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 18

한 줄 요약

이 논문은 자연 경사 하강법에서 진정한 피셔 정보행렬을 대체로 경험적 피셔를 사용하는 것에 도전한다. 실험적으로 경험적 피셔가 실질적으로 이차 정보를 포착하지 못함을 입증하며, 간단한 문제들조차도 최적화 행동이 최적화되지 않음을 보여주고, 경험적 피셔가 피셔 또는 헤시안을 근사할 수 있는 조건들이 실질적으로 거의 충족되지 않는다는 것을 밝힌다.

ABSTRACT

Natural gradient descent, which preconditions a gradient descent update with the Fisher information matrix of the underlying statistical model, is a way to capture partial second-order information. Several highly visible works have advocated an approximation known as the empirical Fisher, drawing connections between approximate second-order methods and heuristics like Adam. We dispute this argument by showing that the empirical Fisher---unlike the Fisher---does not generally capture second-order information. We further argue that the conditions under which the empirical Fisher approaches the Fisher (and the Hessian) are unlikely to be met in practice, and that, even on simple optimization problems, the pathologies of the empirical Fisher can have undesirable effects.

연구 동기 및 목표

• 자연 경사 하강법에서 경험적 피셔가 진정한 피셔 정보행렬을 근사한다고 보편적으로 가정하는 것을 도전하기 위해.
• 몇몇 영향력 있는 논문들이 주장한 바와 같이 경험적 피셔가 신뢰성 있게 이차 최적화 정보를 포착할 수 있는지 조사하기 위해.
• Adam과 같은 최적화 알고리즘에서 경험적 피셔를 사용할 때 발생하는 실질적 한계와 병리적 현상을 규명하기 위해.
• 경험적 피셔가 피셔 또는 헤시안을 근사할 수 있는 조건을 명확히 하고, 이러한 조건들이 실제 세계 설정에서 실현 가능할지 평가하기 위해.

제안 방법

• 경험적 피셔, 진정한 피셔 정보행렬, 그리고 손실의 헤시안 간의 수학적 관계 분석.
• 경험적 피셔가 진정한 피셔 또는 헤시안으로 수렴하는 조건을 유도하고, 이러한 조건의 실질적 실현 가능성을 평가.
• 간단한 최적화 문제에서의 경험적 평가를 통해 경험적 피셔의 병리적 행동을 시연.
• 진정한 피셔를 사용할 때의 자연 경사 하강법의 동작과 경험적 피셔를 사용할 때의 동작을 대비하여 성능 차이를 부각.

실험 결과

연구 질문

• RQ1 경험적 피셔가 진정한 피셔 정보행렬을 근사하는 조건은 무엇인가?
• RQ2 이전 논문들이 주장한 바와 같이 경험적 피셔가 최적화에 의미 있는 이차 정보를 포착하는가?
• RQ3 자연 경사 하강법에서 경험적 피셔를 사용할 때와 진정한 피셔를 사용할 때 최적화 역학은 어떻게 다를까?
• RQ4 경험적 피셔가 헤시안 또는 피셔를 근사하기 위해 필요한 가정들이 실질적인 딥러닝 환경에서 현실적인가?

주요 결과

• 경험적 피셔는 진정한 피셔 정보행렬과 달리 일반적으로 이차 정보를 포착하지 못한다.
• 경험적 피셔가 진정한 피셔 또는 헤시안으로 수렴하는 조건들은 실질적으로 거의 충족되지 않는다.
• 간단한 최적화 문제조차도 경험적 피셔가 병리적 행동을 보이며 최적화 성능을 악화시킨다.
• Adam과 같은 방법에서 경험적 피셔를 사용하는 것은 이차 정보 포착에 의해 정당화되지 않으며, 이러한 히우리스틱의 이론적 기반을 약화시킨다.