[논문 리뷰] Fast Dual Variational Inference for Non-Conjugate LGMs

Mohammad Emtiyaz Khan, Aleksandr Y. Aravkin외 2명|arXiv (Cornell University)|2013. 06. 05.

Gaussian Processes and Bayesian Inference인용 수 3

한 줄 요약

이 논문은 비공액 잠재 가우시안 모델(non-conjugate latent Gaussian models, LGMs)을 위한 빠른 이중 변분 추론 방법을 제안한다. 문제를 오직 O(N)개의 파라미터를 가진 볼록 이중 최적화 문제로 재구성함으로써, 이전 방법들보다 훨씬 더 빠른 수렴 속도를 달성하면서도 정확도를 유지한다. 이 방법은 펜첼 쌍대성(Fenchel conjugates)과 이중 분해(dual decomposition)를 활용하여 가우시안 프로세스 분류 및 잠재 가우시안 마르코프 무작위 필드와 같은 다양한 모델에서 확장 가능한 추론을 실현한다.

ABSTRACT

Latent Gaussian models (LGMs) are widely used in statistics and machine learning. Bayesian inference in non-conjugate LGMs is difficult due to intractable integrals involving the Gaussian prior and non-conjugate likelihoods. Algorithms based on variational Gaussian (VG) approximations are widely employed since they strike a favorable balance between accuracy, generality, speed, and ease of use. However, the structure of the optimization problems associated with these approximations remains poorly understood, and standard solvers take too long to converge. We derive a novel dual variational inference approach that exploits the convexity property of the VG approximations. We obtain an algorithm that solves a convex optimization problem, reduces the number of variational parameters, and converges much faster than previous methods. Using real-world data, we demonstrate these advantages on a variety of LGMs, including Gaussian process classification, and latent Gaussian Markov random fields.

연구 동기 및 목표

• 비공액 잠재 가우시안 모델(LGMs)에서 정확한 베이지안 추론이 비가우시안 우도로 인해 비가역적이기 때문에, 표준 변분 추론의 느린 수렴 문제를 해결한다.
• 기존의 변분 가우시안(VG) 근사에서 계산 효율성과 정확도 사이의 상충 문제를 해결한다. 이는 공분산 구조를 제한함으로써 정확도를 떨어뜨리거나, 고차원 파라미터화로 인해 수렴 속도가 느려지는 경향이 있다.
• O(L²)에서 O(N)으로 변분 파라미터 수를 줄임으로써 볼凸성을 유지하면서도 일반적이고 확장 가능한 추론 방법을 개발한다.
• 펜첼 쌍대성과 Fenchel 쌍대함수의 닫힌 형태 해를 활용하여 볼凸 이중 최적화 문제를 구성함으로써, 대규모 LGMs에서의 빠르고 신뢰할 수 있는 추론을 가능하게 한다.

제안 방법

• 변분 추론 문제를 변분 평균과 공분산이 우도 파라미터와 연결되는 제약 조건을 라그랑주 승수법으로 풀어 이중 최적화 문제로 재구성한다.
• 선형 제약 조건 h = Wm 및 ρ = diag(WVWᵀ)에 대해 이중 변수 α와 λ를 도입함으로써, 원래의 비볼凸 문제를 강력한 이중성에 의해 볼凸 이중 문제로 변환한다.
• 부정 우도 항 fₙ(hₙ, ρₙ)의 펜첼 쌍대함수를 활용해 원래 변수(m*, V*)에 대한 닫힌 형태의 해를 유도함으로써 효율적인 최적화를 가능하게 한다.
• 이중 최적화 문제를 관측 수 N에 비례하는 2N개의 변수(α, λ)에서만 이루어지는 엄밀히 볼凸 문제로 축소함으로써 O(N) 파라미터화를 달성하고, 빠른 수렴을 실현한다.
• 펜첼 쌍대함수 fₙ*의 유효 정의역을 자연 장벽 함수로 활용함으로써 최적화를 단순화하고 수치적 안정성을 확보한다.
• 최적의 이중 변수로부터 원래의 변분 근사(m*, V*)를 재구성한다. 공식은 m* = μ − ΣWᵀα 및 V* = (Σ⁻¹ + Wᵀdiag(λ)W)⁻¹이다.

실험 결과

연구 질문

• RQ1 비공액 LGMs에서 변분 파라미터 수를 O(L²)에서 O(N)으로 줄일 수 있을까? 이 과정에서 볼凸성이나 수렴 속도는 손상되지 않을까?
• RQ2 변분 추론 문제의 이중 분해는 기존의 솔버나 좌표 상승 방법보다 비공액 LGMs에서 더 빠른 수렴을 가능하게 할까?
• RQ3 제안된 방법은 가우시안 프로세스를 넘어서 잠재 가우시안 마르코프 무작위 필드 및 베이지안 일반선형 모델과 같은 다른 LGMs로 일반화될 수 있을까?
• RQ4 우도 함수의 펜첼 쌍대함수는 어떻게 이중 최적화 문제를 단순화하는 장벽 함수를 형성하는가?

주요 결과

• 제안된 이중 변분 추론 방법은 잠재 차원 L과 관측 수 N에 비례하여 최적화 변수 수를 O(L²)에서 O(N)으로 줄여, 수렴 속도가 크게 향상된다.
• 이중 문제는 엄밀히 볼凸이며 오직 2N개의 파라미터만을 포함하므로, 표준 스무쓰 최적화 방법을 사용해 매우 빠른 수렴이 가능하다.
• 실제 데이터에서의 성능 평가에서, Khan(2012)의 최첨단 좌표 상승 방법보다 빠른 수렴 속도를 확보하였으며, 특히 비가우시안 우도 설정에서 두드러진 성능 향상을 보였다.
• 이 방법은 가우시안 프로세스에 국한되지 않으며, 가우시안 프로세스 분류, 잠재 가우시안 마르코프 무작위 필드, 기타 LGMs 등에 성공적으로 적용되었다.
• 일반적인 우도 함수(예: 베르누이, 포아송)에 대해 부정 우도 항의 펜첼 쌍대함수 fₙ*가 닫힌 형태로 존재하여 효율적인 이중 최적화가 가능하다.
• 이중 형식은 라그랑주 승수를 통해 자연스럽게 제약 조건을 통합하며, 결과적으로 유효하고 정확한 변분 근사가 유지된다.