[논문 리뷰] Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models

Hugh Salimbeni, Stefanos Eleftheriadis외 1명|arXiv (Cornell University)|2018. 03. 24.

Gaussian Processes and Bayesian Inference인용 수 9

한 줄 요약

이 논문은 비공액 조건부 가우시안 프로세스 모델에서 비공액 변분 추론을 위한 자연 경사 하강법(Natural Gradient Descent, NGD)을 소개한다. 곡률 정보를 활용하여 수렴 속도를 가속화한다. 결과적으로 NGD는 Adam 및 GD와 같은 기존 방법들에 비해 최적화 안정성과 수렴 속도를 크게 향상시키며, 특히 복잡한 우도 함수를 가진 고차원 설정에서 뛰어난 성능을 보인다.

ABSTRACT

The natural gradient method has been used effectively in conjugate Gaussian process models, but the non-conjugate case has been largely unexplored. We examine how natural gradients can be used in non-conjugate stochastic settings, together with hyperparameter learning. We conclude that the natural gradient can significantly improve performance in terms of wall-clock time. For ill-conditioned posteriors the benefit of the natural gradient method is especially pronounced, and we demonstrate a practical setting where ordinary gradients are unusable. We show how natural gradients can be computed efficiently and automatically in any parameterization, using automatic differentiation. Our code is integrated into the GPflow package.

연구 동기 및 목표

• 비공액 변분 추론을 위한 가우시안 프로세스 모델에서 느리고 불안정한 최적화 문제를 해결하기 위해.
• 자연 경사법을 통해 곡률 정보를 통합함으로써 변분 추론의 수렴 속도와 안정성을 향상시키기 위해.
• 복잡한 GP 모델에서 표준 최적화 방법(예: Adam, 경사 하강법)과의 성능을 평가하기 위해.
• 고차원 및 비공액 우도 설정에서 자연 경사법의 실용적 효과성을 입증하기 위해.

제안 방법

• 비공액 우도를 가진 가우시안 프로세스 모델에서 변분 매개변수를 최적화하기 위해 자연 경사 하강법(NGD)을 적용한다.
• 피셔 정보 계량을 사용하여 곡률 인식 업데이트를 계산함으로써 최적화 역학을 향상시킨다.
• 대규모 데이터셋을 효율적으로 처리하기 위해 자연 경사의 확률적 근사를 사용한다.
• 평균장 변분 추론과 통합하여, 곡률 보정된 단계를 사용해 평균 및 분산 매개변수를 모두 업데이트한다.
• 가우시안 및 스트루트-티 우도를 사용하여 NGD를 표준 최적화 방법(Adam, GD, LBFGS)과 비교한다.
• 변분 목표 함수에서 미분 가능 샘플링과 안정된 기울기 추정을 가능하게 하기 위해 재구성 기법을 적용한다.

실험 결과

연구 질문

• RQ1 비공액 GP 모델에서 자연 경사 하강법은 표준 최적화 방법에 비해 수렴 속도 측면에서 어떻게 비교되는가?
• RQ2 고차원 가우시안 프로세스 추론에서 자연 경사법이 최적화 안정성을 향상시킬 수 있는가?
• RQ3 비공액 설정에서 증거 하한값(ELBO) 최적화에 곡률 정보가 미치는 영향은 무엇인가?
• RQ4 실제 데이터셋에서 가우시안 및 스트루트-티 우도와 같은 다양한 우도 가족에서 NGD의 성능은 어떠한가?
• RQ5 더 큰 데이터셋과 고차원 환경으로 확장될 때 NGD는 여전히 뛰어난 성능을 유지하는가?

주요 결과

• NGD는 가우시안 및 스트루트-티 우도 설정 모두에서 Adam, GD, LBFGS보다 더 빠른 수렴을 달성한다.
• NGD는 특히 고차원 문제(D=8, N=768)와 꼬리가 두꺼운 우도에서 최적화 안정성이 향상됨을 보여준다.
• 여러 시행에 걸쳐 일관되게 높은 증거 하한값(ELBO)을 달성하여 더 나은 변분 근사 품질을 나타낸다.
• 비공액 설정에서 곡률 정보가 핵심적인 상황에서 NGD는 수렴 속도 측면에서 표준 방법들을 능가한다.
• 곡률 인식 업데이트의 사용은 최적화를 더 견고하게 만들며, 하이퍼파rameter 선택에 대한 민감도를 감소시킨다.
• 보스턴 주택 데이터셋(N=506, D=14)에서의 경험적 결과는 NGD가 ELBO 최적화 및 매개변수 수렴 측면에서 열등함을 확인한다.