[논문 리뷰] Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines

Guillaume Desjardins, Razvan Pascanu외 2명|arXiv (Cornell University)|2013. 01. 16.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 19

한 줄 요약

이 논문은 깊이 있는 버틀만 링크(Deep Boltzmann Machines)의 공동 학습을 위한 제2차 최적화 방법인 메트릭 프리 네이처럴 그라디언트(MFNG)를 제안한다. 이 방법은 페일러 정보 메트릭을 명시적으로 저장하지 않고, 코그래디언트 방법을 통해 효율적인 행렬-벡터 곱을 사용함으로써 이를 회피한다. MFNG는 중심화된 Stochastic Maximum Likelihood(SML)보다 에포크당 수렴 속도가 더 빠르지만, 계산 오버헤드로 인해 벽시계 기준 학습 시간은 여전히 느리다.

ABSTRACT

This paper introduces the Metric-Free Natural Gradient (MFNG) algorithm for training Boltzmann Machines. Similar in spirit to the Hessian-Free method of Martens [8], our algorithm belongs to the family of truncated Newton methods and exploits an efficient matrix-vector product to avoid explicitely storing the natural gradient metric $L$. This metric is shown to be the expected second derivative of the log-partition function (under the model distribution), or equivalently, the variance of the vector of partial derivatives of the energy function. We evaluate our method on the task of joint-training a 3-layer Deep Boltzmann Machine and show that MFNG does indeed have faster per-epoch convergence compared to Stochastic Maximum Likelihood with centering, though wall-clock performance is currently not competitive.

연구 동기 및 목표

• 깊이 있는 버틀만 링크(DBMs)를 최대우도 기반으로 공동 학습하는 데 있어, 악조건의 헤시안 행렬로 인해 어려움을 겪는 문제를 해결하기 위해.
• 페일러 정보 메트릭을 명시적으로 저장하지 않으면서도 자연 그라디언트 원리를 활용하는 실용적인 제2차 최적화 방법을 개발하기 위해.
• 효율적인 행렬-벡터 곱을 통해 매개변수 다양체의 기하학적 성질을 활용하여 공동 학습의 수렴 속도를 향상시키기 위해.
• 3층 DBM에서 방법을 평가하고, 중심화된 표준 Stochastic Maximum Likelihood(SML)와의 수렴 특성을 비교하기 위해.

제안 방법

• 메트릭은 로그-파트리션 함수의 기대 헤시안으로 정의되며, 자연 그라디언트를 페일러 정보 메트릭의 역행렬을 음의 로그우도 기울기와 곱한 것으로 유도한다.
• 메트릭 $ L $ 를 명시적으로 저장하지 않기 위해, MINRES와 같은 반복 선형 해법기를 사용하여 $ L^{-1} \mathbb{E}_q[\nabla \log p_\theta] $ 를 계산하는 헤시안 프리 스타일의 접근 방식을 채택한다.
• 음의 로그우도 기울기와 그 기대값을 효율적으로 추정하기 위해, Stochastic Maximum Likelihood(SML)에서 유도된 영구적인 마르코프 체인을 사용한다.
• 자연 그라디언트는 모델 분포 하에서 에너지 함수의 편미분의 공분산으로 표현되며, 이는 페일러 정보 메트릭에 해당한다.
• 메트릭 $ L $ 에 대각선 정규화를 적용하여 역행렬 과정의 안정성을 높이고, 선형 시스템은 고정 정밀도 $ 10^{-5} $ 로 해결한다.
• 매개변수화에 대해 불변이며, 곡률를 고려함으로써 확률 다양체를 따라 일정한 진전을 유지하도록 설계되었다.

실험 결과

연구 질문

• RQ1 메트릭 프리 자연 그라디언트 방법은 깊이 있는 버틀만 링크의 공동 학습에서 제1차 최적화 방법보다 더 빠른 에포크당 수렴 속도를 달성할 수 있는가?
• RQ2 페일러 정보 메트릭을 명시적으로 저장하지 않음으로써, 복잡한 사후 분포를 가진 모델에서 스케일러블한 제2차 최적화가 가능해지는가?
• RQ3 MFNG는 중심화된 SML과 비교할 때 수렴 속도와 최적화 안정성 측면에서 어떻게 다른가?
• RQ4 초기화 조정 또는 프리컨dition링 전략을 통해 MFNG의 계산 비용을 줄일 수 있는가?
• RQ5 MFNG는 악조건의 헤시안을 가진 모델이나 복잡한 사후 분포를 가진 모델에 특히 유익한가?

주요 결과

• MFNG는 3층 깊이 있는 버틀만 링크에서 중심화된 Stochastic Maximum Likelihood(SML)보다 더 빠른 에포크당 수렴 속도를 달성한다.
• MFNG의 벽시계 학습 시간은 선형 시스템을 푸는 데 드는 높은 계산 오버헤드로 인해 여전히 SML보다 경쟁력이 떨어진다.
• 선형 시스템 해법기(MINRES)는 일반적으로 고정 정밀도 $ 10^{-5} $ 로 약 15회 반복 내에 수렴한다.
• 메트릭 $ L $ 를 명시적으로 저장하지 않고, 반복 선형 해법기를 통한 효율적인 행렬-벡터 곱에 의존한다.
• 자연 그라디언트는 $ L^{-1} \mathbb{E}_q[\nabla \log p_\theta] $ 의 해로 유도되며, 여기서 $ L $ 은 로그-파트리션 함수의 기대 헤시안이다.
• 예를 들어 자이아코비 메서드를 사용한 프리컨디셔닝은 수렴 속도 향상에 기여할 수 있으며, 향후 최적화를 위한 유망한 방향이다.