[논문 리뷰] Sublinear Approximate Inference for Probabilistic Programs

Yutian Chen, Vikash K. Mansinghka외 1명|arXiv (Cornell University)|2014. 11. 06.

Bayesian Methods and Mixture Models참고 문헌 11인용 수 2

한 줄 요약

이 논문은 회귀 모형과 상태공간 모형과 같은 높은 상관관계를 가진 모형에서 효율적인 베이지안 추론을 가능하게 하는, 동적으로 구축된 그래픽 모델에서 간선을 부분 샘플링하는 선형 시간 이하의 메트로폴리스-해스팅스 알고리즘을 제안한다. 이 방법은 로지스틱 회귀, 딜레트 복합 혼합 모형, 스토하스틱 볼atility 등 다양한 응용 분야에서 각각 20줄 이내의 코드로도 효율적인 추론을 달성한다.

ABSTRACT

Probabilistic programming languages can simplify the development of ma-chine learning techniques, but only if inference is sufficiently scalable. Un-fortunately, Bayesian parameter estimation for highly coupled models such as regressions and state-space models still scales badly. This paper de-scribes a sublinear-time algorithm for making Metropolis-Hastings updates to latent variables in probabilistic programs. This approach generalizes re-cently introduced approximate MH techniques: instead of subsampling data items assumed to be independent, it subsamples edges in a dynamically con-structed graphical model. It thus applies to a broader class of problems and interoperates with general-purpose inference techniques. Empirical results are presented for Bayesian logistic regression, nonlinear classification via joint Dirichlet process mixtures, and parameter estimation for stochastic volatility models (with state estimation via particle MCMC). All three ap-plications use the same implementation, and each requires under 20 lines of probabilistic code. 1

연구 동기 및 목표

• 회귀 모형과 상태공간 모형과 같은 높이 결합된 확률적 모형에서 베이지안 추론의 낮은 확장성 문제를 해결하기 위해.
• 계산 비용을 줄이면서도 정확도를 유지하는 선형 시간 이하의 추론 알고리즘을 개발하기 위해.
• 기존의 독립적이고 동일한 분포를 따르는 데이터 부분 샘플링 기법을 초월하여 구조적이고 종속적인 모형으로 일반화하기 위해.
• 일반 목적의 추론 기법과의 상호운용성을 보장하기 위해.
• 최소한의 확률적 코드로 다양한 실제 응용 분야에서의 효능을 입증하기 위해.

제안 방법

• 확률적 프로그램의 종속 관계를 식별하기 위해 동적으로 구축된 그래픽 모델 표현을 구성한다.
• 개별 데이터 항목이 아닌 그래픽 모델의 간선을 부분 샘플링하여 계산 오버헤드를 감소시킨다.
• 간선 부분 샘플링을 통해 모형 크기와 비례하지 않는 선형 시간 이하의 근사 메트로폴리스-해스팅스 업데이트를 가능하게 한다.
• 약한 정규성 조건 하에 상세 균형(detailed balance)과 점근적 정확성(correctness)을 유지한다.
• 기존 추론 엔진과 원활하게 통합되며, 상태 추정을 위한 입자 MCMC까지도 지원한다.
• 구현이 경량이며, 각 응용 분야에 대해 20줄 이내의 확률적 코드만 필요로 한다.

실험 결과

연구 질문

• RQ1 동적으로 구축된 그래픽 모델에서 간선 기반 부분 샘플링이 결합된 모형에서 선형 시간 이하의 베이지안 추론을 가능하게 하는가?
• RQ2 전통적인 데이터 부분 샘플링과 비교해 간선 부분 샘플링은 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 동일한 추론 구현을 최소한의 코드 변경으로 다양한 확률적 모형에 재사용할 수 있는가?
• RQ4 선형 시간 이하의 샘플링 조건 하에서도 방법이 정확성과 수렴 성질을 유지하는가?
• RQ5 이 방법은 스토하스틱 볼atility과 비선형 혼합 모형과 같은 복잡한 모형으로 얼마나 잘 확장될 수 있는가?

주요 결과

• 제안된 방법은 동적으로 구축된 그래픽 모델에서 간선을 부분 샘플링함으로써 선형 시간 이하의 시간 복잡도를 달성하여 추론 비용을 크게 감소시켰다.
• 실험 결과는 이 방법이 베이지안 로지스틱 회귀, 딜레트 복합 혼합 모형을 통한 비선형 분류, 스토하스틱 볼atility 모형 등에 걸쳐 효과적으로 확장된다는 것을 보여주었다.
• 세 가지 응용 분야 모두에서 확률적 코드가 20줄 이내로 간결하게 구현되었으며, 높은 코드 재사용성과 단순성을 입증했다.
• 전체 데이터 메트로폴리스-해스팅스와 비교해 정확도는 유사하게 유지하면서도 계산 시간을 극적으로 줄였다.
• 이 방법은 독립적이고 동일한 분포를 따르는 데이터 가정을 초월하여 복잡한 종속성을 가진 모형에서도 추론이 가능하도록 일반화되었다.
• 일반 목적의 추론 기법과의 상호운용성이 확보되어, 입자 MCMC를 포함한 기법들과의 통합을 통해 적용 범위가 넓어졌다.