[논문 리뷰] Amortized Bayesian inference for clustering models

Ari Pakman, Liam Paninski|arXiv (Cornell University)|2018. 11. 24.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 3

한 줄 요약

이 논문은 신경망을 사용하여 군집 배치의 대칭성 불변 표현을 조건부 군집 할당 확률로 매핑함으로써 군집 모델에 대한 암시적 베이지안 추론 방법인 신경 군집 프로세스(NCP)를 소개한다. 이 방법은 계산 효율성이 단일 골드버그 스위프트와 유사한 동시에 빠르고 병렬 처리 가능한 독립적 사후 표본 추출을 가능하게 하며, 공액 및 비공액 모델 모두에 적용 가능하다.

ABSTRACT

We develop methods for efficient amortized approximate Bayesian inference over posterior distributions of probabilistic clustering models, such as Dirichlet process mixture models. The approach is based on mapping distributed, symmetry-invariant representations of cluster arrangements into conditional probabilities. The method parallelizes easily, yields iid samples from the approximate posterior of cluster assignments with the same computational cost of a single Gibbs sampler sweep, and can easily be applied to both conjugate and non-conjugate models, as training only requires samples from the generative model.

연구 동기 및 목표

• 고차원 매개변수 공간을 가진 비공액 모델에서 확률적 군집 모델의 MCMC 방법의 계산 비효율성을 해결한다.
• MCMC와 딥러닝의 장점을 결합한 방법을 개발하여 변분 추론의 정확도 보장을 부족하게 하는 문제를 해결한다.
• 생성 모델 샘플에 기반해 신경망 학습을 통해 추론을 암시화함으로써 군집 할당에 대한 빠르고 확장 가능하며 병렬 처리 가능한 사후 표본 추출을 가능하게 한다.
• 군집 내, 군집 간, 미할당 점들 사이의 순열 대칭성을 불변 표현을 통해 유지한다.
• 생성 모델의 샘플만을 사용해 훈련하는 바탕으로, 디리클레 프로세스 혼합 모델을 포함한 다양한 모델 유형으로 일반화 가능한 프레임워크를 개발한다.

제안 방법

• 각 군집 $k$에 대해 내부 군집 요약 $H_k = \text{sum}(h(x_i))$와 전역 군집 요약 $G = \text{sum}(g(H_k))$를 사용해 군집 구성의 분산형 대칭성 불변 특징을 표현한다.
• 조건부 확률 $p(c_n | c_{1:n-1}, \textbf{x})$를 신경망 $f(G_k, Q, h_n)$로 모델링하며, 여기서 $Q$는 미할당 점들의 임bedding 합이고 $h_n = h(x_n)$이며, $G_k$는 각 가능한 군집 할당에 대해 계산된다.
• 진짜 사후분포 하에서 조건부 확률의 기대값에 대한 음의 로그우도를 최소화하도록 확률적 경사 하강법을 사용해 신경망 파라미터 $\theta$를 학습한다.
• 데이터 포인트의 순열 $\pi$를 샘플링하여 훈련 중 순열 불변성을 활용함으로써, 군집 재라벨링에 대해 동치 행동을 학습하도록 한다.
• 고정된 $c_{1:n-1}$에 대해 $c_{n:N}$에 대한 정확한 조건부 확률을 계산함으로써 분산을 줄이기 위해 Rao-Blackwellization을 적용하여 표본 효율성을 향상시킨다.
• 학습된 네트워크를 사용해 새로운 데이터에 대해 독립적이고 GPU 기반으로 병렬 처리 가능한 사후 표본 추출을 생성함으로써 순차적 MCMC 표본 추출을 피한다.

실험 결과

연구 질문

• RQ1 복잡한 마르코프 체인 업데이트가 필요 없이 MCMC 수준의 정확도와 계산 효율성을 동시에 확보하는 암시적 추론 방법을 개발할 수 있는가?
• RQ2 군집 할당의 본질적 순열 대칭성(군집 내, 군집 간, 미할당 점들 사이)을 고려한 신경망 기반 추론 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 생성 모델의 샘플만을 사용해 훈련할 때, 공액 및 비공액 모델 모두에 대해 얼마나 일반화할 수 있는가?
• RQ4 완전한 병렬 처리를 통해 표준 골드버그 스위프팅보다 상당한 속도 향상을 달성할 수 있는가, 동시에 분산 수준을 유지할 수 있는가?
• RQ5 대칭성 불변 표현과 Rao-Blackwell화된 훈련을 사용할 경우, 군집 할당 예측에 대한 신경망 정책의 수렴성과 안정성이 향상되는가?

주요 결과

• 신경 군집 프로세스(NCP)는 분산 측면에서 골드버그 스위프팅과 유사한 사후 표본 추출 성능을 보이며, 벽 시계 시간 측면에서 상당한 감소를 이룬다.
• NCP는 GPU에서 대규모 병렬 처리를 가능하게 하여 골드버그 스위프팅(20,000개 표본, 1,000개 버닝 인바이닝)의 평균 실행 시간 1,969초에서 NCP의 184초로 감소시켰다.
• 모델 훈련 중에 모니터링되고 예측 시에도 유지되는 군집 레이블과 데이터 포인트의 순열에 대한 대칭성 불변성을 유지한다.
• Rao-Blackwellization은 고정된 $c_{1:n-1}$에 대해 $c_{n:N}$에 대한 정확한 조건부 확률을 계산함으로써 훈련 목표의 분산을 줄여 표본 효율성을 향상시킨다.
• 훈련은 생성 모델의 샘플만 필요로 하며, 명시적 사후 계산이 필요 없기 때문에 공액 및 비공액 모델 모두에 적용 가능하다.
• 훈련 후 NCP는 단일 골드버그 스위프트와 동일한 계산 비용으로 독립적이고 동일한 분포를 가진 사후 표본 추출을 생성할 수 있어 확장 가능한 추론이 가능하다.