[논문 리뷰] Composing inference algorithms as program transformations

Robert Zinkov, Chung-chieh Shan|arXiv (Cornell University)|2016. 03. 06.

Machine Learning and Algorithms참고 문헌 13인용 수 13

한 줄 요약

이 논문은 확률적 추론 알고리즘을 프로그램 변환으로서의 조합 프레임워크를 제안하여, 확률적 모델에서 정확하고 근사된 추론 절차를 자동으로 생성할 수 있도록 한다. 추론을 하나의 확률적 프로그램에서 다른 확률적 프로그램(예: 모델에서 샘플러 또는 밀도 계산기로)으로 변환하는 변환으로 간주함으로써, 정확한 추론과 MCMC 또는 변분 추론과 같은 근사 추론을 조합하는 것이 가능해지며, WebPPL 및 JAGS와 같은 최첨단 시스템과 비교해도 성능가능성이 높다.

ABSTRACT

Probabilistic inference procedures are usually coded painstakingly from scratch, for each target model and each inference algorithm. We reduce this effort by generating inference procedures from models automatically. We make this code generation modular by decomposing inference algorithms into reusable program-to-program transformations. These transformations perform exact inference as well as generate probabilistic programs that compute expectations, densities, and MCMC samples. The resulting inference procedures are about as accurate and fast as other probabilistic programming systems on real-world problems.

연구 동기 및 목표

• 각 모델과 알고리즘 조합에 대해 추론 알고리즘을 수작업으로 구현하는 데 드는 수고롭고 실수하기 쉬운 노력을 줄이기 위해.
• 코드를 다시 작성하지 않고도 동일한 모델에 대해 여러 추론 방법(예: 정확한 추론과 근사 추론)을 조합할 수 있도록 하기 위해.
• 추론을 하나의 확률적 프로그램에서 다른 확률적 프로그램으로 변환하는 방식으로 표현함으로써 모듈러하고 조합 가능한 추론을 지원하기 위해.
• 변환 조합을 통해 기존의 추론 구현을 재사용함으로써 새로운 추론 파이프라인을 가능하게 하기 위해.
• 기존의 확률적 프로그래밍 시스템과 비견되는 성능을 유지하면서도 모듈러성과 공식적인 조합성을 확보하기 위해.

제안 방법

• 확률적 모델을 확률적 프로그램으로 표현함으로써, 이 프로그램들에 대한 변환으로 추론을 표현할 수 있도록 한다.
• 디스인터그레이션과 기대값 계산과 같은 프로그램 간 변환을 사용하여 특정 추론 작업을 수행하는 새로운 프로그램을 생성한다.
• 변환을 순차적으로 적용하여 여러 추론 방법을 조합한다. 예를 들어, 모델의 일부에 정확한 추론을 적용하고 다른 부분에는 MCMC를 적용한다.
• 밀도 계산, 조건부 분포 계산, MCMC 샘플러 생성과 같은 변환을 지원하며, 결정론적 종속성 존재하더라도 가능하다.
• 단순화 및 루프 전개를 통해 최적화된 코드를 생성함으로써 대규모 데이터셋에서도 효율적인 실행을 가능하게 한다.
• 공식적인 등가성(예: 공액성)을 활용하여 근사 추론과 정확한 추론 방법을 조합한다.

실험 결과

연구 질문

• RQ1 확률적 프로그램을 변환하는 방식으로 추론 알고리즘을 체계적으로 조합할 수 있는가, 아니면 매번 다시 구현해야 하는가?
• RQ2 동일한 모델에 대해 정확한 추론과 근사 추론 방법을 통일된 프로그램 변환 인터페이스를 통해 어떻게 조합할 수 있는가?
• RQ3 프로그램 변환을 통해 WebPPL 및 JAGS와 같은 수작업 최적화된 시스템과 비견되는 성능을 보이는 추론 절차를 생성할 수 있는가?
• RQ4 추론 변환 과정에서 결정론적 종속성과 복잡한 모델 구조를 얼마나 잘 다룰 수 있는가?
• RQ5 재사용 가능한 변환 컴포넌트를 사용하여 모듈러하고 조합 가능한 추론 파이프라인을 구성할 수 있는가?

주요 결과

• 시스템은 실제 문제들에 대해 다른 확률적 프로그래밍 시스템과 동일한 정확도와 속도를 보이는 추론 절차를 생성한다.
• 칼만 필터링 작업에서 Hakaru 샘플러는 WebPPL보다 더 높은 효과적 표본 크기(ESS)를 기록하여 더 높은 샘플링 효율성을 보였다.
• 가우시안 혼합 모델링에서 Hakaru는 한 번의 스위프(스윕) 후 50% 이상의 정확도를 달성했으며, JAGS 체인은 몇 번의 스위프를 거쳐야 비로소 따라오게 되었다.
• 20 Newsgroups 코퍼스에서의 문서 분류 작업에서 Hakaru의 콜랩스드 깁스 샘플러는 JAGS보다 한 번의 스위프 후 더 높은 정확도를 기록했고, 데이터 크기가 커져도 계속 우월한 성능 유지를 보였다.
• Hakaru의 초기화 시간은 데이터 크과 무관하게 일정했지만, JAGS의 초기화 시간은 데이터 크기에 비례하여 증가하여 Hakaru가 대규모 데이터셋에 더 스케일러블하다는 점을 보였다.
• JAGS보다 약 10배 정도 느린 샘플링 속도를 보였지만, Hakaru의 성능은 실용적이며 경쟁력 있었으며, 특히 계산 재사용과 최적화된 코드 생성 능력을 고려하면 더욱 두드러졌다.