[논문 리뷰] Diversity-Promoting Bayesian Learning of Latent Variable Models

Pengtao Xie, Jun Zhu외 1명|arXiv (Cornell University)|2017. 11. 23.

Bayesian Methods and Mixture Models참고 문헌 36인용 수 8

한 줄 요약

이 논문은 잠재변수모델(LVMs)의 다양성을 증진하기 위해 상호각도 사전분포를 도입하여, 서로 수직인 성분 벡터를 장려함으로써 희귀 패턴을 더 잘 포착하고 모델 복잡도를 감소시킨다. 이 방법은 변분 추론과 MCMC를 사용하여 효율적인 사후분포 근사화를 수행하며, 실제 데이터셋에서 기준 모델에 비해 다양성 모델링과 일반화 성능에서 뛰어난 성능을 보인다.

ABSTRACT

To address three important issues involved in latent variable models (LVMs), including capturing infrequent patterns, achieving small-sized but expressive models and alleviating overfitting, several studies have been devoted to "diversifying" LVMs, which aim at encouraging the components in LVMs to be diverse. Most existing studies fall into a frequentist-style regularization framework, where the components are learned via point estimation. In this paper, we investigate how to "diversify" LVMs in the paradigm of Bayesian learning. We propose two approaches that have complementary advantages. One is to define a diversity-promoting mutual angular prior which assigns larger density to components with larger mutual angles and use this prior to affect the posterior via Bayes' rule. We develop two efficient approximate posterior inference algorithms based on variational inference and MCMC sampling. The other approach is to impose diversity-promoting regularization directly over the post-data distribution of components. We also extend our approach to "diversify" Bayesian nonparametric models where the number of components is infinite. A sampling algorithm based on slice sampling and Hamiltonian Monte Carlo is developed. We apply these methods to "diversify" Bayesian mixture of experts model and infinite latent feature model. Experiments on various datasets demonstrate the effectiveness and efficiency of our methods.

연구 동기 및 목표

• 확률 기반 최적화가 빈번한 패턴을 선호함으로써 기존 LVMs가 희귀 패턴을 포착하는 데에 한계를 보이는 문제를 해결하기 위해.
• 성능을 훼손시키지 않은 채 성분의 다양성을 증진하고 중복을 줄여 모델 크기를 감소시키기 위해.
• 불확실성 측정과 모델 평균화를 통한 베이지안 추론을 도입하여 LVMs의 과적합 문제를 완화하기 위해.
• 변분 추론과 MCMC를 모두 지원하는 다양성 증진을 위한 베이지안 프레임워크를 개발하여 이전의 DPP 기반 접근법의 한계를 극복하기 위해.
• 슬라이스 샘플링과 HMC를 활용하여 무한한 성분을 가진 베이지안 비모수 모델로 다양성 증진 학습을 확장하기 위해.

제안 방법

• 서로 다른 성분 벡터 간의 쌍별 각도가 클수록 높은 밀도를 갖는 상호각도 사전분포를 제안하여, 베이지안 사전분포 설정을 통해 다양성을 증진한다.
• 구조적 변분 가족을 사용한 변분 추론을 통해 상호각도 사전분포 하에서 사후분포를 근사화하며, 효율적인 최적화를 가능하게 한다.
• 메트로폴리스-해스팅스 기반 MCMC 샘플러를 개발하여 사후분포 추론을 수행하며, 변분 방법보다 더 정확한 근사치를 제공한다.
• 성분의 사후분포에 직접적으로 다양성 정규화를 적용하며, 목적함수 내에서 각도 기반 분산을 정규화 항으로 사용한다.
• 슬라이스 샘플링과 하이퍼볼릭 몬테카를로(HMC)를 조합하여 무한한 성분 집합을 처리할 수 있도록 비모수 모델로 확장한다.
• 베이지안 믹스처 오브 응용모델과 무한한 잠재 특징 모델에 적용하며, 성분 및 혼합 파라미터에 대해 바이-미시스-피셔 및 감마 분포를 사용한다.

실험 결과

연구 질문

• RQ1 점 추정에 의존하지 않고도 베이지안 프레임워크가 LVMs의 성분 간 다양성을 효과적으로 증진시킬 수 있는가?
• RQ2 기본 사전분포와 비교해 볼 때 상호각도 사전분포는 희귀 패턴 모델링에 어떻게 향상되는가?
• RQ3 변분 추론과 MCMC를 효과적으로 융합하여 다양성 증진 베이지안 LVMs에서 효율성과 정확성의 균형을 이루는가?
• RQ4 다양성 증진이 표현력 유지 또는 향상과 함께 모델 크기를 얼마나 줄일 수 있는가?
• RQ5 제안된 방법은 성분 수가 무한한 비모수 LVMs로 확장될 수 있는가?

주요 결과

• 상호각도 사전분포는 문서 데이터셋에서 저빈도 토픽에 대한 재현율이 높아짐으로써 희귀 패턴 탐지 능력이 크게 향상됨을 입증한다.
• 제안된 다양성 증진 사전분포를 갖는 모델은 더 낮은 테스트 로그우도 분산과 과적합 감소를 통해 더 우수한 일반화 성능을 달성한다.
• 변분 추론 알고리즘이 MCMC보다 더 빠르게 수렴하면서도 경쟁 가능한 성능을 유지하여 대규모 응용에 적합하다.
• MCMC 기반 추론은 고차원 성분 공간에서 더 정확한 사후 추정치를 제공하며, 이는 접근법의 강건성을 검증한다.
• 비모수 설정에서는 슬라이스 샘플링과 HMC 기반 방법이 과적합 없이 의미 있는 무한 성분 구조를 성공적으로 발견한다.
• 실제 데이터셋에 대한 실험 결과는 제안된 방법이 표현력과 계산 효율성 측면에서 최신 기술 수준의 성능을 달성함을 보여준다.