[논문 리뷰] Learning Proposals for Probabilistic Programs with Inference Combinators

Sam Stites, Heiko Zimmermann외 3명|arXiv (Cornell University)|2021. 03. 01.

Machine Learning and Algorithms참고 문헌 59인용 수 6

한 줄 요약

이 논문은 확률적 프로그램에서 적절하게 가중치가 부여된 중요도 샘플러를 구성하기 위한 조합 가능하고 사용자 정의 가능한 연산자인 추론 조합자(inference combinators)를 소개한다. 변분 목표를 통한 신경망 제안 학습을 가능하게 함으로써, 이 프레임워크는 정확한 구성 기반의 보상 추론 방법을 지원하며, 냉각과 지브스 샘플링과 같은 고급 기법을 통해 이를 입증한다.

ABSTRACT

We develop operators for construction of proposals in probabilistic programs, which we refer to as inference combinators. Inference combinators define a grammar over importance samplers that compose primitive operations such as application of a transition kernel and importance resampling. Proposals in these samplers can be parameterized using neural networks, which in turn can be trained by optimizing variational objectives. The result is a framework for user-programmable variational methods that are correct by construction and can be tailored to specific models. We demonstrate the flexibility of this framework by implementing advanced variational methods based on amortized Gibbs sampling and annealing.

연구 동기 및 목표

• 구조적 확률 모델을 위한 민첩하고 재사용 가능하며 정확한 추론 전략을 설계하는 데 도전한다.
• 모델에 특화된 구조적 종속성으로 인해 확률 프로그래밍 시스템에서 고급 MCMC 및 중요도 샘플링 방법을 구현하는 데 어려움을 해결한다.
• 추론 조합자의 문법을 체계화하여 기본 연산자(전이 핵심, 제안 할당, 중요도 재표본 추출 등)를 조합해 유효한 샘플러를 생성함으로써 사용자 정의 가능한 변분 추론을 가능하게 한다.
• 복잡한 모델에서 사후 분포 근사 향상을 위해 변분 목표를 사용하여 신경망 제안 네트워크의 엔드 투 엔드 학습을 지원한다.
• 냉각 및 지브스 기반 샘플러와 같은 최첨단 추론 방법을 구현하여 프레임워크의 유연성을 입증한다.

제안 방법

• 전이 핵심, 제안 할당, 중요도 재표본 추출과 같은 기본 연산자를 조합 가능한 일급 구성요소로 정의한다.
• 모든 추론자가 목표 밀도 하에서 적절하게 가중치가 부여된 샘플을 생성하도록 보장하는 의미 체계를 체계화한다.
• 신경망을 제안자로 통합하여 변분 목표를 통한 미분 가능한 학습을 가능하게 한다.
• 진짜 사후 분포와 학습된 제안 분포 간의 KL 발산을 최소화하기 위해 중첩된 변분 추론을 사용한다.
• 제어 흐름, 재귀, 고계 함수를 지원하는 조건부 조밀한 밀도를 갖는 Probabilistic Torch에 프레임워크를 구현한다.
• 영상 객체 추적을 위한 특수 제안 네트워크를 설계하여, 컨volutional 전처리와 MLP 인코더를 사용해 위치 및 객체 특징을 추론한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 중요도 샘플링에서 정확성을 보장하면서도 조합 가능하고 사용자 확장이 가능한 추론 전략 언어를 설계할 수 있는가?
• RQ2 추론 조합자가 냉각과 지브스 샘플링과 같은 고급 변분 추론 방법을 원칙적으로 구현할 수 있는가?
• RQ3 변분 목표를 통한 신경망 제안 네트워크 학습이 구조적 확률 모델에서 사후 근사 품질을 얼마나 향상시킬 수 있는가?
• RQ4 학습 분포를 초월해 다른 수의 객체와 시간 단계를 가진 모델로의 일반화는 어느 정도 가능한가?
• RQ5 재구성된 객체를 조건으로 삼는 모델 구조 인식 제안(예: 재구성된 객체 이미지 기반)이 순차적 모델링 과제에서 추론 품질에 어떤 영향을 미치는가?

주요 결과

• 추론 조합자 프레임워크는 목표 밀도 하에서 생성된 모든 샘플러가 적절하게 가중치가 부여됨을 보장하여 구성에 기반한 정확성을 보장한다.
• 이 프레임워크는 냉각 및 보상 지브스 샘플링과 같은 고급 추론 방법을 성공적으로 구현하여 표준 변분 추론을 초월한 유연성을 입증한다.
• 변분 목표를 통해 학습된 제안은 D=5개의 객체와 T=100개의 시간 단계를 가진 테스트 인스턴스로까지 일반화되며, 학습 설정인 D=3과 T=10을 초월한다.
• 재구성된 객체 이미지(컨볼루션 특징 기반)를 조건으로 삼는 조건부 제안은 영상 시퀀스에서 객체 위치의 정밀도를 향상시킨다.
• 예측된 위치 기반으로 프레임을 자르는 공간 변환기(스페이셜 트랜스포머)의 사용은 객체 표현 학습을 위한 효과적인 특징 추출을 가능하게 한다.
• 제안 파rameter용 MLP 인코더 아키텍처는 계층적 특징 처리와 비선형 변환을 통해 안정적인 학습과 효과적인 사후 근사 향상을 달성한다.