[논문 리뷰] MAD-Bayes: MAP-based Asymptotic Derivations from Bayes

Tamara Broderick, Brian Kulis외 1명|arXiv (Cornell University)|2012. 12. 10.

Bayesian Methods and Mixture Models참고 문헌 23인용 수 63

한 줄 요약

이 논문은 소규모 분산 점근적 분석를 통해 베이지안 MAP 추정에서 경직된 할당 클러스터링 및 특징 학습 알고리즘을 유도하는 일반적인 프레임워크인 MAD-Bayes를 소개한다. 교환 가능한 분할 및 특징 확률 함수를 사용하여 사후 분포에 점근적 분석을 적용함으로써, BP-means와 같은 확장 가능한, 해석 가능한 알고리즘을 도출한다. 이는 클러스터링을 넘어선 겹치는, 비완전한 특징 할당을 가능하게 하며, 기존의 게lesi 샘플링과 전통적인 K-means보다도 더 뛰어난 해석 가능성과 희박성 성능을 보인다.

ABSTRACT

The classical mixture of Gaussians model is related to K-means via small-variance asymptotics: as the covariances of the Gaussians tend to zero, the negative log-likelihood of the mixture of Gaussians model approaches the K-means objective, and the EM algorithm approaches the K-means algorithm. Kulis & Jordan (2012) used this observation to obtain a novel K-means-like algorithm from a Gibbs sampler for the Dirichlet process (DP) mixture. We instead consider applying small-variance asymptotics directly to the posterior in Bayesian nonparametric models. This framework is independent of any specific Bayesian inference algorithm, and it has the major advantage that it generalizes immediately to a range of models beyond the DP mixture. To illustrate, we apply our framework to the feature learning setting, where the beta process and Indian buffet process provide an appropriate Bayesian nonparametric prior. We obtain a novel objective function that goes beyond clustering to learn (and penalize new) groupings for which we relax the mutual exclusivity and exhaustivity assumptions of clustering. We demonstrate several other algorithms, all of which are scalable and simple to implement. Empirical results demonstrate the benefits of the new framework.

연구 동기 및 목표

• 특정 추론 알고리즘에 종속되지 않는, 베이지안 비모수 모델에서 경직된 할당 알고리즘을 유도하는 일반적인 프레임워크를 개발하는 것.
• 기존의 정규 분포 혼합 모델에 국한된 소규모 분산 점근적 분석을, 특징 학습을 위한 베타 과정과 인디안 뷔페 과정을 포함한 더 넓은 모델로 확장하는 것.
• 데이터 포인트가 여러 특징에 동시에 속할 수 있도록 상호 배타성과 완전성 제약 조건을 완화하는 새로운 목적 함수와 알고리즘(BP-means)을 도출하는 것.
• 유도된 알고리즘이 확장 가능하고 구현이 단순하며, 기존의 게lesi 샘플링과 K-means 방법보다 특징의 희박성과 해석 가능성에서 뛰어나다는 것을 보여주는 것.
• 베이지안 비모수 모델에서 MAP 추정을 기반으로 K-means 유사 목적 함수를 도출하는 통합적이고 알고리즘에 종속되지 않는 접근 방식을 제공하는 것.

제안 방법

• Gibbs 샘플러와 같은 추론 알고리즘에 적용되는 것이 아니라, 베이지안 비모수 모델의 사후 분포에 직접 소규모 분산 점근적 분석을 적용하는 것.
• 클러스터링을 위한 교환 가능 분할 확률 함수(EPPF)와 특징 학습을 위한 교환 가능 특징 확률 함수(EFPF)를 사용하여 사후 분포를 표현하는 것.
• 관측 분산 σ² → 0으로 갈 때의 극한을 취하여 MAP 추정에서 결정론적이고 경직된 할당 목적 함수를 도출하는 것.
• 베타 과정과 인디안 뷔페 과정에 이 프레임워크를 적용하여 BP-means를 도출함으로써, 겹치는 특징을 허용하는 특징 할당 알고리즘을 얻는 것.
• 디리클레-다항분포와 같은 다른 사전 분포로의 일반화를 시도하고, 군집/특징 평균을 통합하여 마진형 MAP 추정으로 확장하는 것.
• K-means++ 초기화 및 분산 계산 최적화와 같은 기법을 적용하여 확장 가능하고 K-means 유사 알고리즘을 구현하는 것.

실험 결과

연구 질문

• RQ1 소규모 분산 점근적 분석을 추론 알고리즘에 종속되지 않고 사후 분포에 직접 적용하여 경직된 할당 알고리즘을 도출할 수 있는가?
• RQ2 EPPF와 EFPF는 어떻게 사용되어 디리클레 과정 혼합 모델을 초월한 특징 학습 모델로 소규모 분산 점근적 분석을 일반화할 수 있는가?
• RQ3 이 프레임워크를 베타 과정과 인디안 뷔페 과정에 적용했을 때 도출되는 새로운 목적 함수와 알고리즘은 무엇인가?
• RQ4 유도된 알고리즘은 기존의 게lesi 샘플링과 K-means 방법과 비교해 성능, 희박성, 해석 가능성 측면에서 어떻게 다른가?
• RQ5 이 프레임워크는 마진형 MAP 추정과 디리클레-다항분포와 같은 다른 사전 분포로 확장 가능한가?

주요 결과

• BP-means 알고리즘은 겹치는 특징을 성공적으로 학습하였으며, 테이블탑 물체 데이터셋에서 한 기본 특징과 두 개의 추가 특징이 서로 다른 시각적 특성(예: 머리카락 길이, 피부 톤)을 잘 포착하였다.
• FEI 얼굴 데이터셋에서 λ²=5로 설정한 BP-means는 한 개의 기본 특징과 두 개의 추가 특징을 선택하여, 긴 머리카락과 더 어두운 피부와 같은 해석 가능한 얼굴 특징 조합을 잘 표현하였다.
• 특징 할당 모델은 K-means보다 더 희박하고 더 해석 가능한 군집을 생성하였으며, 네 가지 가능한 특징 조합에 대해 특징 수(139, 106, 80, 75)가 균형 잡히고 의미 있는 조합을 보였다.
• K=3과 K=4로 설정한 K-means는 얼굴을 더 해석하기 어려운 군집으로 나누었으며, K=4의 경우 군집 4에 샘플 이미지가 전혀 포함되지 않아 군집의 구조가 열악함을 시사하였다.
• BP-means 알고리즘은 클라인 볼 테일과 20달러 지폐를 모두 포함하는 여유분의 특징을 발견하여 일부 중복성을 보였지만, 수렴성과 희박성 측면에서 게lesi 샘플링을 능가하였다.
• 이 프레임워크는 DP 혼합 모델을 초월하여 다른 모델, 특히 디리클레-다항분포 사전 분포로도 일반화 가능하며, K-means 유사 최적화를 통해 확장 가능하고 빠른 알고리즘을 가능하게 한다.