[논문 리뷰] Accelerating Natural Gradient with Higher-Order Invariance

Yang Song, Song, Jiaming외 1명|arXiv (Cornell University)|2018. 03. 04.

Model Reduction and Neural Networks참고 문헌 20인용 수 6

한 줄 요약

이 논문은 두 번째 차수 룬게-쿠타 적분기와 지오데식 보정을 활용하여 자연 경사 하강법의 고차수 불변 최적화 방법을 제안한다. 이는 모델 재매개변수화에 대해 더 높은 불변성을 확보함으로써 딥 뉴럴 네트워크 학습과 강화 학습에서 더 빠른 수렴을 달성하면서도 표준 자연 경사와 유사한 계산 효율성을 유지한다.

ABSTRACT

An appealing property of the natural gradient is that it is invariant to arbitrary differentiable reparameterizations of the model. However, this invariance property requires infinitesimal steps and is lost in practical implementations with small but finite step sizes. In this paper, we study invariance properties from a combined perspective of Riemannian geometry and numerical differential equation solving. We define the order of invariance of a numerical method to be its convergence order to an invariant solution. We propose to use higher-order integrators and geodesic corrections to obtain more invariant optimization trajectories. We prove the numerical convergence properties of geodesic corrected updates and show that they can be as computationally efficient as plain natural gradient. Experimentally, we demonstrate that invariance leads to faster optimization and our techniques improve on traditional natural gradient in deep neural network training and natural policy gradient for reinforcement learning.

연구 동기 및 목표

• 유한한 스텝 사이즈로 인해 실용적 자연 경사 방법에서 발생하는 불변성 상실 문제를 해결한다.
• 리만 기하학과 수치 적분 이론에서 이상적 해로의 수렴 성질로써 불변성을 정식화한다.
• 재매개변수화에 대해 불변성을 유지하는 고차수 수렴을 갖는 수치 적분기법을 개발한다.
• 계산 효율성을 희생시키지 않고 딥 러닝과 강화 학습에서 최적화 속도와 안정성을 향상시킨다.

제안 방법

• 수치적 방법이 이상적이고 진정으로 불변인 해로 수렴하는 속도를 불변성의 차수로 정의한다.
• 정확한 해로의 두 번째 차수 수렴을 달성하기 위해 자연 경사 역학에 대해 두 번째 차수 룬게-쿠타 적분기법을 제안한다.
• 리만 연결을 기반으로 한 지오데식 보정을 도입하여 리만 오일러 방법으로의 두 번째 차수 수렴을 달성함으로써 불변성을 향상시킨다.
• 이중 수치를 사용한 역방향 자동 미분을 활용해 지오데식 보정 항을 효율적으로 계산하는 알고리즘을 유도한다.
• 표준 자연 경사와 비슷한 시간 효율성을 유지하면서도 두 번째 차수 불변성을 유지하는 빠른 지오데식 보정 변형을 구현한다.
• 이 방법들을 딥 뉴럴 네트워크와 강화 학습에서의 자연 정책 경사법에 대한 즉각적인 대체 수단으로 적용한다.

실험 결과

연구 질문

• RQ1 자연 경사의 수치 적분 기법은 첫 번째 차수를 초월해 모델 재매개변수화에 대해 불변성을 유지할 수 있는가?
• RQ2 수치적 방법의 수렴 차수는 리만 최적화에서 그 불변성 특성과 어떻게 관련이 있는가?
• RQ3 고차수 적분기법과 지오데식 보정은 딥 러닝과 강화 학습에서 최적화 속도와 안정성을 향상시킬 수 있는가?
• RQ4 지오데식 보정 방법은 뉴턴 방법을 근사하는가, 아니면 곡률 가정 없이 고차수 불변성을 유지하는가?
• RQ5 표준 자연 경사와 비교해 대규모 모델에 대해 제안된 방법은 계산적으로 실현 가능한가?

주요 결과

• 제안된 두 번째 차수 룬게-쿠타 적분기법은 정확한 자연 경사 해로의 두 번째 차수 수렴을 달성하여 첫 번째 차수 오일러 방법보다 더 높은 불변성을 확보한다.
• 지오데식 보정 방법은 리만 오일러 방법으로의 두 번째 차수 수렴을 보이며, 불변성과 최적화 안정성 모두를 크게 향상시킨다.
• 실험 결과 표준 자연 경사와 비교해 딥 뉴럴 네트워크 학습과 자연 정책 경사 강화 학습에서 더 빠른 수렴이 관찰된다.
• 지오데식 보정 방법은 계산 효율성을 유지하면서도 두 번째 차수 불변성을 유지한다 — 표준 자연 경사와 비슷한 속도로 작동한다.
• 실험 결과는 지오데식 보정과 뉴턴 유사 근사(예: perturb) 간의 성능 격차가 시간이 지남에 따라 점점 커지며, 이는 방법이 작은 곡률 가정에 의존하지 않음을 시사한다.
• 작은 곡률 근사는 일시적인 성질이며, 지오데식 보정의 효과는 고차수 헤시안 근사 때문이 아니라 본질적인 불변성 유지 덕분임을 확인한다.