[논문 리뷰] Pyro: Deep Universal Probabilistic Programming

Eli Bingham, Jonathan P. Chen외 8명|arXiv (Cornell University)|2018. 10. 18.

Gaussian Processes and Bayesian Inference참고 문헌 9인용 수 589

한 줄 요약

Pyro는 PyTorch를 기반으로 한 파이썬 기반 확률 프로그래밍 언어로, 확률적 변분 추론과 모듈식 효과 핸들러(Poutine)를 통해 복잡한 AI 모델에 대해 확장 가능하고 유연한 추론을 가능하게 한다.

ABSTRACT

Pyro is a probabilistic programming language built on Python as a platform for developing advanced probabilistic models in AI research. To scale to large datasets and high-dimensional models, Pyro uses stochastic variational inference algorithms and probability distributions built on top of PyTorch, a modern GPU-accelerated deep learning framework. To accommodate complex or model-specific algorithmic behavior, Pyro leverages Poutine, a library of composable building blocks for modifying the behavior of probabilistic programs.

연구 동기 및 목표

• AI 연구를 위해 표현력, 확장성, 유연성 및 최소성을 갖춘 PPL 설계의 동기 부여.
• Pyro를 PyTorch에 구축된 임베디드 파이썬 PPL로 제시해 대규모 데이터셋과 고차원 모델을 지원.
• 모델, 추론 및 런타임 문제를 분리하는 구성을 가능하게 하는 Poutine의 도입.
• VAE와 Deep Markov Model 실험을 통한 실용적 확장성 및 유연성 실증.
• PyTorch 분포 통합을 포함한 개방성과 생태계 협업을 강조."]
• method=[

제안 방법

• Pyro를 파이썬에 두 가지 원시 연산으로 삽입: randomness를 위한 pyro.sample와 학습 가능한 매개변수용 pyro.param.
• 그라디언트 기반 최적화를 통한 확률적 변분 추론(SVI)을 사용해 사후분포를 근사.
• GPU 가속 텐서 연산 및 역방향 자동 미분을 위해 PyTorch를 활용.
• 영향 핸들러를 제공할 수 있는 Poutine을 활용해 프로그램 동작을 수정하고 추론 코드를 언어 의미론으로부터 분리.
• 데이터 의존 구조 및 샘플의 비정규화된 모델을 포함하여 모델 내에서 임의의 Python 제어 흐름 지원.
• 모델에 의존하고 모델과 동일한 입력을 사용하는 근사 사후분포를 제공하는 가이드(근사 사후분포) 제공."]
• research_questions:[

실험 결과

연구 질문

• RQ1 AI 연구를 위한 표현력, 확장성, 유연성 및 최소성을 어떻게 균형 있게 달성할 수 있는가?
• RQ2 PyTorch 기반 PPL이 복잡하고 고차원이며 비공적 연결(non-conjugate) 모델에 대해 확장 가능한 추론을 지원할 수 있는가?
• RQ3 Poutine과 같은 추상화가 표현력을 제약하지 않으면서 유연한 모델별 추론을 가능하게 하는가?
• RQ4 VAE, DMM과 같은 대표적 심층 생성 모델에서 정확성과 효율성 측면에서 Pyro의 성능은 어떠한가?
• RQ5 Pyro를 기존 생태계(예: PyTorch distributions)와 통합하는 것이 사용성 및 성능에 어떤 영향을 미치는가?

주요 결과

• Pyro는 데이터 의존적 제어 흐름 및 비정규화된 모델을 포함한 표현력 있는 모델을 확장 가능한 GPU 가속 계산 및 미니배치 SVI를 통해 가능하게 한다.
• 그라디언트 기반 최적화를 통한 SVI가 기본 추론 엔진이며, PyTorch autodiff 및 GPU 가속에 의해 지원된다.
• Poutine은 모델, 추론 및 런타임 문제를 분리하는 모듈식 효과 핸들러를 제공해 모델별 추론 전략을 가능하게 한다.
• Pyro의 VAE 및 DMM 실험은 참조 구현과 유사한 결과를 보여 주며 고차원 모델로의 확장성을 시현한다.
• Autoregressive flows(IAFs)는 최소한의 코드로 도입될 수 있으며 근사 사후분포의 표현력을 향상시키고 계산 오버헤드를 크게 증가시키지 않는다.
• Pyro와 PyTorch Distributions의 통합은 실무적 사용성을 높이고 더 넓은 생태계에 기여한다.