[논문 리뷰] Swift: compiled inference for probabilistic programming languages

Yi Wu, Lei Li외 2명|arXiv (Cornell University)|2016. 07. 09.

Bayesian Modeling and Causal Inference참고 문헌 28인용 수 7

한 줄 요약

Swift는 BLOG 확률 프로그래밍 언어를 위한 컴파일러로, 정적 최적화를 통해 런타임 인터프리테이션 오버헤드를 제거하고, 동적 종속성과 크기가 변하는 가능 세계를 효율적으로 관리하며, 다양한 추론 워크로드에서 기존 PPL 추론 엔진 대비 12배에서 326배의 성능 향상을 달성한다.

ABSTRACT

A probabilistic program defines a probability measure over its semantic structures. One common goal of probabilistic programming languages (PPLs) is to compute posterior probabilities for arbitrary models and queries, given observed evidence, using a generic inference engine. Most PPL inference engines--even the compiled ones--incur significant runtime interpretation overhead, especially for contingent and open-universe models. This paper describes Swift, a compiler for the BLOG PPL. Swift-generated code incorporates optimizations that eliminate interpretation overhead, maintain dynamic dependencies efficiently, and handle memory management for possible worlds of varying sizes. Experiments comparing Swift with other PPL engines on a variety of inference problems demonstrate speedups ranging from 12x to 326x.

연구 동기 및 목표

• 기존 확률 프로그래밍 언어(PPL) 추론 엔진에 내재된 뚜렷한 런타임 인터프리테이션 오버헤드를 줄이기 위해, 특히 조건부 모델 및 오픈 유니버스 모델에 대해.
• 가능 세계 간 동적 종속성과 메모리 할당을 정적으로 분석하고 최적화하여 확률 프로그램의 효율적 컴파일을 가능하게 하기 위해.
• 런타임 인터프리테이션의 성능 저하를 피하면서도 정적 컴파일을 통해 정확성과 표현력을 유지하고 고성능을 달성하기 위해.
• 다양한 확률 추론 문제에 걸쳐 기존의 일반적인 추론 엔진보다 컴파일된 추론이 뛰어난 성능을 보일 수 있음을 입증하기 위해.

제안 방법

• 확률적 구성요소의 런타임 인터프리테이션 필요 없이 효율적인 저수준 코드로 BLOG 프로그램을 컴파일한다.
• 정적 분석을 적용하여 랜덤 변수와 증거 간의 동적 종속성을 컴파일 타임에 식별하고 인코딩한다.
• 다양한 크기의 가능 세계에 대한 메모리를 최적화된 할당 전략을 사용하여 생성된 코드로 관리한다.
• 원래의 확률 프로그램의 의미를 유지하면서도 고성능 실행을 가능하게 하는 컴파일러 파이프라인을 도입한다.
• 최적화를 안내하고 컴파일된 출력의 정확성을 보장하기 위해 유형 추론과 제어 흐름 분석의 조합을 사용한다.
• 가능 세계 생성과 증거 전파를 추적하는 고유한 중간 표현을 활용하여 효율적인 추론을 지원한다.

실험 결과

연구 질문

• RQ1 정적 컴파일이 확률 프로그래밍 언어에서 런타임 인터프리테이션 오버헤드를 제거할 수 있는가?
• RQ2 컴파일러는 조건부 및 오픈 유니버스 모델에서 동적 종속성과 크기가 변하는 가능 세계를 얼마나 효과적으로 관리할 수 있는가?
• RQ3 BLOG와 같은 PPL을 컴파일할 경우 기존의 추론 엔진 대비 어떤 성능 향상을 달성할 수 있는가?
• RQ4 다양한 복잡도를 가진 다양한 확률 추론 문제에 대해 컴파일된 접근 방식은 효과적으로 스케일링되는가?

주요 결과

• Swift는 다양한 추론 문제에서 기존의 PPL 추론 엔진 대비 12배에서 326배의 성능 향상을 달성한다.
• 인터프리테이션 오버헤드 제거로 인해 특히 복잡한 동적 종속성을 가진 모델에서 뚜렷한 성능 향상이 발생한다.
• 정적 컴파일과 최적화된 할당 전략을 통해 크기가 변하는 가능 세계의 메모리 관리는 효율적으로 처리된다.
• 기본적으로 정확성과 표현력을 유지하면서도 벤치마크 워크로드에서 인터프리트된 엔진과 컴파일된 엔진 모두를 뛰어넘는 성능 향상을 달성한다.
• 성능 향상은 일반적으로 인터프리테이션 오버헤드가 가장 높은 조건부 및 오픈 유니버스 모델에서 가장 두드러진다.