[논문 리뷰] Post-Inference Prior Swapping

Willie Neiswanger, Eric P. Xing|arXiv (Cornell University)|2016. 06. 02.

Gaussian Processes and Bayesian Inference인용 수 3

한 줄 요약

이 논문은 임의의 목표 사전확률분포 하에서 효율적이고 정확한 사후 추론을 가능하게 하는 prior swapping 기법을 소개한다. 이 기법은 편리한 사전확률분포를 사용해 사전에 계산된 잘못된 사후확률분포를 변환함으로써, 다시 추론 알고리즘을 실행하지 않고도 목표 사전확률분포에 맞는 정확한 사후확률분포를 도출할 수 있다. 이 방법은 데이터에 의존하지 않는 반복 업데이트를 활용하여 추론 알고리즘의 재실행을 피하며, 특히 사전확률분포가 유사하지 않거나 복잡한 경우 중요도 샘플링보다 정확도와 속도 면에서 뛰어나다.

ABSTRACT

While Bayesian methods are praised for their ability to incorporate useful prior knowledge, in practice, convenient priors that allow for computationally cheap or tractable inference are commonly used. In this paper, we investigate the following question: for a given model, is it possible to compute an inference result with any convenient false prior, and afterwards, given any target prior of interest, quickly transform this result into the target posterior? A potential solution is to use importance sampling (IS). However, we demonstrate that IS will fail for many choices of the target prior, depending on its parametric form and similarity to the false prior. Instead, we propose prior swapping, a method that leverages the pre-inferred false posterior to efficiently generate accurate posterior samples under arbitrary target priors. Prior swapping lets us apply less-costly inference algorithms to certain models, and incorporate new or updated prior information "post-inference". We give theoretical guarantees about our method, and demonstrate it empirically on a number of models and priors.

연구 동기 및 목표

• 재계산이 비용이 많이 드는 추론 알고리즘을 다시 실행하지 않고도 임의의 목표 사전확률분포 하에서 사후확률분포를 효율적으로 계산하는 데 도전하는 것.
• 목표 사전확률분포가 잘못된 사전확률분포와 크게 다를 경우 높은 분산으로 인해 실패하는 중요도 샘플링의 한계를 극복하는 것.
• 표준 추론이 계산적으로 비용이 많이 드는 모델에서, 사후 추론 후에 업데이트된 또는 새로운 사전정보를 포함시킬 수 있도록 하는 것.
• 정확한 밀도함수, 근사 사후확률분포, 또는 MCMC 샘플 등 다양한 종류의 추론 결과를 목표 사후확률분포로 변환함으로써 일반적인 방법을 제공하는 것.
• prior swapping이 다양한 모델에서 이론적으로 타당하고 실증적으로 효과적임을 보여주는 것—예를 들어 일반선형모형과 관계성 또는 희소성 유도 사전확률분포를 갖는 잠재변수 모형 포함.

제안 방법

• 편리한 잘못된 사전확률분포 $\pi_f(\theta)$ 를 사용해 계산된 사전 추론된 잘못된 사후확률분포 $p_f(\theta|x^n)$ 를 사용한다. 이는 추론이 해석 가능하거나 효율적일 수 있도록 한다.
• 데이터에 의존하지 않는 반복적 업데이트를 적용하여 $p_f(\theta|x^n)$ 에서 유도된 샘플이나 밀도 추정치를 임의의 목표 사전확률분포 $\pi(\theta)$ 하에서의 정확한 사후확률분포 $p(\theta|x^n)$ 로 변환한다.
• MCMC 샘플의 경우, 목표 사전확률분포 밀도와 잘못된 사전확률분포 밀도의 비율에 따라 제안 분포를 조정하는 연속적인 메트로폴리스-해스팅스 단계를 수행한다.
• 파arametric 또는 근사 사후확률밀도의 경우, 목표 사전확률분포와 잘못된 사전확률분포의 비율 $\pi(\theta)/\pi_f(\theta)$ 를 사용해 잘못된 사후확률분포를 재가중하거나 재매개변수화하여 목표 사전확률분포와 일치시킨다.
• 이 방법은 데이터 의존적 업데이트를 피하고 사전에 계산된 추론 결과를 활용하므로 계산적으로 효율적이다.
• 다양한 형태의 잘못된 사후확률분포 표현에 대해 수렴성과 정확도에 대한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 편리한 사전확률분포 하에서 사전에 계산된 잘못된 사후확률분포를 다시 추론을 실행하지 않고도 임의의 목표 사전확률분포 하에서 정확한 사후확률분포로 변환할 수 있는가?
• RQ2 목표 사전확률분포가 잘못된 사전확률분포와 크게 다를 경우, prior swapping이 중요도 샘플링보다 분산과 정확도 면에서 어떻게 성능이 우수한가?
• RQ3 희소성 유도나 관계성 유도 사전확률분포를 포함한 복잡한 비공액 또는 구조적 사전확률분포를 효율적으로 처리할 수 있는가?
• RQ4 표준 추론이 비용이 많이 드는 모델—예를 들어 토픽 모델이나 일반선형모형—에서 prior swapping이 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 목표 사전확률분포가 첨예한 꼬리 또는 잘못된 사전확률분포와 다른 매개변수 형태를 가질 경우, prior swapping이 정확도를 유지하는가?

주요 결과

• 목표 사전확률분포가 잘못된 사전확률분포와 다를 경우, 중요도 샘플링이 높은 분산으로 실패하는 상황에서 prior swapping은 중요도 샘플링보다 항상 낮은 사후추정 오차를 기록한다.
• 베이지안 일반선형모형에서, prior swapping은 직접 MCMC 샘플링보다 수개의 주기로 수렴 속도가 훨씬 빠르며, 첨예한 꼬리나 희소성 유도 사전확률분포 하에서도 정확한 추론을 가능하게 한다.
• 가우스 혼합모형과 LDA와 같은 잠재요인 모형에서, prior swapping은 다양성 유도 사전확률분포를 사용해 중복된 토픽 클러스터를 효과적으로 분리하여 해석 가능성 향상을 이룬다.
• 실행시간 측정 결과, 여러 개의 목표 사전확률분포를 고려할 경우 prior swapping은 직접 추론보다 수개의 주기로 빠르며, 특히 이 경우에 뚜렷한 성능 향상을 보인다.
• 목표 사전확률분포가 매우 비정규분포이거나 잘못된 사전확률분포와 다른 매개변수 형태를 가질 경우에도 prior swapping은 정확도를 유지하며 뛰어난 강건성을 보여준다.
• 합성 및 실세계 데이터(예: Simple English Wikipedia 코퍼스)에 대한 실증 결과는 prior swapping이 재계산이 비용이 많이 드는 추론 파이프라인 없이도 복잡한 사전확률분포 하에서 효율적인 사후계산을 가능하게 한다는 것을 확인한다.