[논문 리뷰] Amortized Rejection Sampling in Universal Probabilistic Programming

Saeid Naderiparizi, Adam Ścibior외 10명|arXiv (Cornell University)|2019. 10. 20.

Machine Learning and Algorithms참고 문헌 18인용 수 4

한 줄 요약

이 논문은 반복 횟수가 유계가 아닌 거부 샘플링 루프를 처리할 수 있는 새로운 보상된 중요도 샘플링 추정기인 유니버설 확률적 프로그래밍 언어를 위한 것을 제안한다. 기존의 간단한 접근 방식이 실패하는 상황에서도 유한한 분산을 보장한다. 샘플을 조건부 수락 확률에 따라 재가중하고 거부 루프의 구조를 통합함으로써, 모델 재작성 없이도 안정적이고 유한한 분산 추론을 달성한다.

ABSTRACT

Naive approaches to amortized inference in probabilistic programs with unbounded loops can produce estimators with infinite variance. This is particularly true of importance sampling inference in programs that explicitly include rejection sampling as part of the user-programmed generative procedure. In this paper we develop a new and efficient amortized importance sampling estimator. We prove finite variance of our estimator and empirically demonstrate our method's correctness and efficiency compared to existing alternatives on generative programs containing rejection sampling loops and discuss how to implement our method in a generic probabilistic programming framework.

연구 동기 및 목표

• 반복 횟수가 유계가 아닌 거부 샘플링 루프를 포함한 확률적 프로그램에서 보상된 중요도 샘플링의 불안정성을 해결하기 위해, 기존의 단순한 추정기들이 무한한 분산을 가질 수 있는 문제를 해결한다.
• 반복 횟수가 유계가 아닐 경우에도 중요도 샘플링 추정기의 분산이 유한해지도록 보장하는 방법을 개발한다.
• 기존의 유니버설 확률적 프로그래밍 프레임워크와 호환되는 일반적이고 효율적이며 정확한 추론 솔루션을 제공한다.
• 실험적으로 제안된 추정기가 기존의 단순한 추론 컴파일 방식보다 수렴 안정성과 정확도 측면에서 뛰어나다는 것을 입증한다.
• 중요도 샘플링에 거부 루프가 포함된 경우에도 유효하고 유한한 분산을 유지할 수 있는 이론적 조건을 체계화한다.

제안 방법

• 각 거부 루프 반복의 조건부 수락 확률을 고려하는 재가중 기법을 도입하여, 루프를 수락 조건에 따라 조건부로 설정된 확률적 과정으로 간주한다.
• 중요도 가중치를 조건부 밀도의 곱으로 재정의함으로써 각 단계에서의 수락 확률을 포함시켜 유한한 분산을 보장한다.
• 원래의 생성 프로그램을 수락 조건을 명시적으로 모델링하는 등가 형태로 변환함으로써 가중치의 적절한 정규화를 가능하게 하여 추정기를 유도한다.
• 신경망을 사용해 제안 분포를 근사하는 추론 컴파일 기법을 활용하지만, 루프 구조를 고려하여 가중치 계산 방식을 수정한다.
• 최종 중요도 가중치가 조건부 밀도의 곱으로 계산되도록 보장한다: w ∝ p(z|x, c(x,z)) / q(z|x,y, c(x,z))이며, 여기서 c(x,z)는 수락 여부를 나타낸다.
• 이론적 분석을 통해 미약한 정칙 조건 하에, 반복 횟수가 유계가 아니더라도 추정기가 유한한 분산을 가짐을 증명한다.

실험 결과

연구 질문

• RQ1 반복 횟수가 유계가 아닌 거부 샘플링 루프를 포함한 확률적 프로그램에서 보상된 중요도 샘플링을 유한한 분산으로 안정적으로 만들 수 있는가?
• RQ2 반복 횟수가 유계가 아닐 경우 유한한 분산을 확보하기 위해 중요도 가중치 계산에 어떤 수정이 필요한가?
• RQ3 거부 샘플링 루프의 구조를 모델 재작성 없이 추론 컴파일에 공식적으로 통합할 수 있는가?
• RQ4 기존 추정기들이 침묵적으로 실패할 수 있는 상황에서도 제안된 추정기는 올바른 사후 분포로 수렴하는가?
• RQ5 기존 추론 파이프라인에 최소한의 변경만으로도 유니버설 확률적 프로그래밍 프레임워크에서 일반적으로 구현 가능한가?

주요 결과

• 제안된 추정기는 기존의 단순한 접근 방식이 무한한 분산을 가질 수 있는 반면, 반복 횟수가 유계가 아닌 거부 샘플링 루프를 포함한 프로그램에서 중요도 샘플링의 유한한 분산을 보장한다.
• 제안된 방법은 반복 횟수가 유계가 아니며 제안 분포가 추론 컴파일을 통해 학습된 경우에도 안정적인 수렴과 정확한 사후 분포 추정을 달성한다.
• 실험적 평가 결과, 제안된 추정기는 거부 샘플링 루프를 포함한 모델에서 기존의 단순한 추론 컴파일 방식보다 수렴 속도와 정확도 측면에서 뛰어나게 나타났다.
• 이론적 분석을 통해 개별 중요도 가중치는 유한한 분산을 가질 수 있지만 그 곱이 무한한 분산을 가질 수 있는 상황에서도 추정기가 유효하고 유한한 분산을 유지함을 확인했다.
• 이전에는 중요도 샘플링에서 무한한 분산으로 인해 침묵적인 실패가 발생했던 시뮬레이터 및 제약 조건이 있는 분포에서의 정확한 추론을 가능하게 하였다.
• 이 방법은 기존의 유니버설 확률적 프로그래밍 프레임워크와 호환되며, 추론 컴파일 파이프라인 내에서 신경망 기반 제안 네트워크와 통합 가능하다.