[논문 리뷰] Copula variational inference

Dustin Tran, David M. Blei외 1명|arXiv (Cornell University)|2015. 06. 10.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 33

한 줄 요약

커플라 변수 추론(Copula VI)는 평균-장 및 구조적 변수 추론을 향상시키기 위해 잠재 변수 간의 종속성을 모델링하기 위해 커플라를 변동 가족에 통합함으로써 근사 편향을 크게 줄이고 강건성을 향상시킨다. 이는 평균-장 및 커플라 파라미터 간의 번갈아 최적화를 사용하여 확장 가능하고 일반적인 추론을 달성하며, 표준 방법보다 정확도와 초기화 및 하이퍼파rameter에 대한 민감도에서 뛰어나다.

ABSTRACT

We develop a general variational inference method that preserves dependency among the latent variables. Our method uses copulas to augment the families of distributions used in mean-field and structured approximations. Copulas model the dependency that is not captured by the original variational distribution, and thus the augmented variational family guarantees better approximations to the posterior. With stochastic optimization, inference on the augmented distribution is scalable. Furthermore, our strategy is generic: it can be applied to any inference procedure that currently uses the mean-field or structured approach. Copula variational inference has many advantages: it reduces bias; it is less sensitive to local optima; it is less sensitive to hyperparameters; and it helps characterize and interpret the dependency among the latent variables.

연구 동기 및 목표

• 잠재 변수 간 조건부 독립을 가정하기 때문에 후행 근사에 상당한 편향을 유발하는 평균-장 변수 추론의 한계를 해결하기 위해.
• 모델 특화 도출이 필요 없이 후행 분포의 복잡한 종속성을 유지하는 일반적이고 확장 가능한 방법을 개발하기 위해.
• 유연하고 학습 가능한 종속성 구조를 도입하여 변수 추론의 국소 최적점 및 하이퍼파rameter 선택에 대한 민감도를 줄이기 위해.
• 커플라 기반 모델링을 통해 잠재 변수 간 종속성의 해석 가능한 특성화를 가능하게 하기 위해.

제안 방법

• 표준 평균-장 변수 가족에 잔여 종속성을 모델링하기 위해 커플라를 통합하여 인과적 근사에서 포착되지 않는 종속성을 모델링한다.
• 두 단계의 번갈아 최적화를 사용한다: 먼저 커플라를 고정한 채로 평균-장 파라미터(변량)를 재추정하고, 그 다음에 변량을 고정한 채로 커플라 파라미터를 재추정한다.
• 대규모 데이터셋에 적용 가능한 확장 가능한 추론을 위해 스 tochastic 최적화를 적용한다.
• 비선형성 및 비정규 종속성을 잠재 공간에서 모델링하기 위해 민감도가 높고 미분 가능한 가우시안 커플라를 활용한다.
• 고차원 잠재 구조의 모델링 능력을 향상시키기 위해 빌드 커플라 프레임워크를 활용한다.
• 기존의 블랙박스 변수 추론 프레임워크와 원활하게 통합되며, 모델 사양을 위해 로그우도 함수만 필요로 한다.

실험 결과

연구 질문

• RQ1 모델 특화 도출이 필요 없이 커플라를 사용하여 평균-장 및 구조적 추론에서 변수 근사의 표현력을 체계적으로 향상시킬 수 있는가?
• RQ2 커플라 기반 보완이 잠재 변수 모델에서 변수 추론의 편향, 분산 및 수렴 행동에 어떤 영향을 미치는가?
• RQ3 표준 평균-장 및 LRVB와 같은 고차원 방법에 비해 커플라 VI는 국소 최적점 및 하이퍼파ram터 선택에 대해 얼마나 감소된 민감도를 보이는가?
• RQ4 커플라 VI는 실제 모델인 가우시안 혼합 모델 및 잠재 공간 네트워크와 같이 복잡한 종속성을 정확히 포착하고 해석할 수 있는가?

주요 결과

• 커플라 VI는 평균-장 추론이 忽시하는 종속성을 모델링함으로써 후행 근사의 편향을 크게 줄이며, 특히 후행 분산 추정에서 유의미한 개선을 이룬다.
• 가우시안 혼합 모델에서 커플라 VI는 초기화 및 하이퍼파ram터에 대한 민감도가 낮고 오차가 더 작은 파라미터 추정을 일관되게 달성하며, 평균-장 및 LRVB보다 우수하다.
• MNIST 0/1 분류 작업에서 커플라 VI는 테스트 오차율 0.06을 기록했고, 초기화에 따라 변동하는 LRVB(0.06~0.32)보다 우수한 강건성을 보였다.
• 10만 노드의 잠재 공간 모델에서 커플라 VI는 완전 수렴 시 예측 로그우도 -50.5를 달성했으며, 평균-장(-383.2) 및 LRVB(-330.5)를 크게 능가했고, 단 2단계만 사용해도 LRVB보다 빠른 런타임을 기록했다.
• 단지 두 번의 단계(한 번의 커플라 피팅)만으로도 커플라 VI는 예측 우도 -303.2를 달성했으며, 정확도와 속도 면에서 LRVB를 이미 초월했다.
• 커플라 VI는 약 10단계 내에 수렴하며 ELBO에서 안정적이고 단조로운 향상을 보이며, 번갈아 최적화 전략의 효과성을 확인했다.