[논문 리뷰] Handling the Positive-Definite Constraint in the Bayesian Learning Rule

Lin Wu, Mark Schmidt외 1명|arXiv (Cornell University)|2020. 02. 24.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 4

한 줄 요약

이 논문은 변분 추론에서 공분산 행렬의 양의 정부호 제약 조건을 자연스럽게 이행하는 데 Riemannian-gradient 기반 수정을 제안한다. 블록좌표 자연 매개변수화를 활용함으로써 선형 탐색 없이도 제약 조건을 만족시키며, 가우시안 및 가우시안 혼합 모델 근사에서 수렴 속도 향상과 안정성 향상을 이룬다. 계산 오버헤드는 최소한이다.

ABSTRACT

The Bayesian learning rule is a natural-gradient variational inference method, which not only contains many existing learning algorithms as special cases but also enables the design of new algorithms. Unfortunately, when variational parameters lie in an open constraint set, the rule may not satisfy the constraint and requires line-searches which could slow down the algorithm. In this work, we address this issue for positive-definite constraints by proposing an improved rule that naturally handles the constraints. Our modification is obtained by using Riemannian gradient methods, and is valid when the approximation attains a \emph{block-coordinate natural parameterization} (e.g., Gaussian distributions and their mixtures). We propose a principled way to derive Riemannian gradients and retractions from scratch. Our method outperforms existing methods without any significant increase in computation. Our work makes it easier to apply the rule in the presence of positive-definite constraints in parameter spaces.

연구 동기 및 목표

• 최적화 과정에서 공분산 행렬의 양의 정부호 제약 조건을 위반하는 문제를 해결하기 위해.
• 제약 조건이 있는 매개변수 공간에서 수렴 속도를 저하시키는 백트래킹 선형 탐색의 필요성을 제거하기 위해.
• 제약 조건이 있는 변분 추론을 위한 Riemannian 기울기와 재구성 사상(retraction)을 원칙에서 유도하는 체계적인 방법을 개발하기 위해.
• 업데이트된 매개변수들이 양의 정부호 다양체 내에 유지되도록 하면서도 계산 효율성을 유지를 위해.
• 딥 러닝 및 확률적 그래픽 모델과 같은 고차원 모델에서 공분산 제약 조건이 있는 베이지안 학습 규칙의 강력한 적용을 가능하게 하기 위해.

제안 방법

• 양의 정부호 행렬 다양체 위에서 Riemannian 기울기 하강법을 사용하여 베이지안 학습 규칙을 재구성한다.
• Riemannian 기하학을 통합하여 양의 정부호 제약 조건을 자연스럽게 유지하는 수정된 업데이트 규칙을 도입한다.
• Fisher 정보 행렬이 블록 대각 행렬 구조를 가지는 블록좌표 자연 매개변수화(BCN)에서 유도된 접근 방식이다.
• 투영 또는 선형 탐색 없이도 다양체 위에 머무르도록, Riemannian 기울기와 재구성 사상을 처음부터 계산한다.
• 가우시안 및 혼합 가우시안 근사에서, 원래 규칙 대비 작은 일정한 오버헤드만 추가로 필요하다.
• 딥 러닝 및 베이지안 로지스틱 회귀에서 검증되었으며, 수치적 안정성 향상과 더 빠른 수렴을 보였다.

실험 결과

연구 질문

• RQ1 선형 탐색에 의존하지 않고도, 베이지안 학습 규칙을 수정하여 공분산 행렬의 양의 정부호 제약 조건을 자연스럽게 이행할 수 있는가?
• RQ2 Riemannian 기하학을 체계적으로 적용하여 변분 추론에서 제약 조건이 있는 업데이트를 유도할 수 있는가?
• RQ3 제안된 방법은 고차원 환경에서 수렴성과 안정성을 향상시키면서도 계산 효율성을 유지하는가?
• RQ4 완전 공분산 근사가 있는 베이지안 신경망과 같은 복잡한 모델에 이 방법을 적용할 수 있는가?
• RQ5 단계 크기 선택 및 메모리 사용 측면에서 Riemannian 업데이트는 기존의 제약 조건이 있는 최적화 기법보다 어떻게 비교되는가?

주요 결과

• 제안된 방법은 시뮬레이션 및 실제 베이지안 추론 작업에서 원래의 베이지안 학습 규칙과 기준 방법보다 더 빠른 수렴을 달성한다.
• 비제약 전환 방법보다 더 큰 단계 크기를 허용하여 최적화 안정성을 향상시키고 반복 비용을 감소시킨다.
• 메모리 제약 조건이 있는 환경에서, Salimbeni 등(2018)의 전환 기반 접근보다 메모리 사용량이 적다.
• 표준 기울기가 사전 계산된 경우, 반복당 계산 비용 측면에서 제안된 업데이트 방법은 기준 방법보다 최소 6–10배 빠르다.
• 딥 러닝을 위한 VOGN 알고리즘에서 발생하는 구현 문제를 성공적으로 해결하여, 양의 정부호 공분산 업데이트를 보장한다.
• 고차원 공간(예: 300차원)에서도 혼합 가우시안 및 무거운 尾 분포와 같은 복잡한 사후 분포를 높은 정확도로 근사한다.