[논문 리뷰] A Compilation Target for Probabilistic Programming Languages

Brooks Paige, Frank Wood|arXiv (Cornell University)|2014. 03. 03.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 43

한 줄 요약

이 논문은 표준 C 컴파일러와 POSIX 시스템 프리미티브(예: fork, 프로세스, 공유 메모리)를 사용해 기계어 코드로 컴iles되는 이식성 있고 효율적인 확률 프로그래밍을 위한 중간 표현인 Probabilistic C를 소개한다. 운영 체제의 功能을 활용하여 순차적 몬테카를로 및 입자 MCMC를 통한 확장 가능한 병렬 전방 추론을 가능하게 하여, 확률 프로그래밍 워크로드에 대한 시스템 수준 최적화의 새로운 길을 열어 놓는다.

ABSTRACT

Forward inference techniques such as sequential Monte Carlo and particle Markov chain Monte Carlo for probabilistic programming can be implemented in any programming language by creative use of standardized operating system functionality including processes, forking, mutexes, and shared memory. Exploiting this we have defined, developed, and tested a probabilistic programming language intermediate representation language we call probabilistic C, which itself can be compiled to machine code by standard compilers and linked to operating system libraries yielding an efficient, scalable, portable probabilistic programming compilation target. This opens up a new hardware and systems research path for optimizing probabilistic programming systems.

연구 동기 및 목표

• 표준 컴파일러를 사용해 기계어 코드로 컴파일할 수 있는 이식성 있고 효율적인 확률 프로그래밍을 위한 중간 표현을 설계하기.
• 표준 POSIX 운영 체제 프리미티브만을 사용해 확장 가능한 병렬 전방 추론(예: SMC, 입자 MCMC)을 가능하게 하기.
• 저수준 하드웨어 및 OS 최적화를 통한 확률 프로그래밍 성능 최적화에 대한 시스템 연구의 기반을 마련하기.
• 고수준 언어 설계에서 추론 전략을 분리하기 위해 저수준 컴파일 타겟을 제공함으로써 추론 전략과 언어 설계를 분리하기.
• 확률 추론에서 프로세스 기반 병렬 처리와 다른 동시성 모델(예: 스레드, 사용자 수준 추상화, 예: 제한된 연속성) 간의 성능, 이식성, 통계적 정확성 측면의 성능 트레이드오프를 탐색하기.

제안 방법

• Probabilistic C는 표준 C에 관측(데이터 가능도에 조건을 붙임)을 위한 매크로와 후행 표본을 출력하는 예측 기능을 추가한 C 라이브러리이다.
• 병렬 실행을 위해 프로그램 트레이스의 병렬 실행을 가능하게 하기 위해 POSIX의 fork 시스템 콜을 사용한다. 이는 실행 경로 기반 입자 기반 추론을 가능하게 한다.
• 메인 함수는 매크로로 감싸져 원래 프로그램을 루프로 실행함으로써 SMC 및 입자 MCMC 추론을 위한 다수의 입자 실행을 시뮬레이션한다.
• 추론은 여러 프로세스를 스파운닝하여 수행되며, 각 프로세스는 트레이스를 실행하고, 관측를 통해 가능도를 계산하고, 예측를 통해 결과를 수집한다.
• 시스템은 표준 C 컴파일러와 POSIX 준수 운영 체제 라이브러리를 기반으로 하여 다양한 아키텍처 간의 이식성을 확보한다.
• 난수 생성과 함께 로그 가능도 관측 및 후행 예측을 조합함으로써 일반 목적의 확률 모델(예: 정규분포, HMM 등)을 지원한다.

실험 결과

연구 질문

• RQ1 fork와 공유 메모리와 같은 표준 POSIX 시스템 프리미티브만을 사용해 확률 프로그래밍의 전방 추론을 효율적이고 이식 가능하게 구현할 수 있는가?
• RQ2 fork를 통한 프로세스 기반 병렬 처리가 확장 가능한 확률 추론 시스템의 실현 가능하고 성능이 우수한 기반으로서 타당한가?
• RQ3 페이지 크기, 메모리 관리, 프로세스 스케줄링과 같은 시스템 수준의 특성이 확률 추론 성능에 미치는 영향은 어떠한가?
• RQ4 프로세스 멀티플렉싱과 메모리 레이아웃 최적화를 위한 시스템 최적화가 확률 프로그래밍 워크로드 성능 향상에 기여할 수 있는가?
• RQ5 성능, 이식성, 통계적 정확성 측면에서 프로세스(예: fork) 사용과 스레드 또는 사용자 수준 추상화(예: 제한된 연속성) 간의 성능 트레이드오프는 어떠한가?

주요 결과

• Probabilistic C는 표준 C 컴파일러와 POSIX 시스템 라이브러리를 사용해 효율적이고 이식 가능한 기계어 코드로 성공적으로 컴파일된다.
• fork의 사용은 입자 기반 추론을 위한 네이티브 병렬 처리를 가능하게 하여 다중 코어 시스템에서 확장 가능한 실행을 지원한다.
• 운영 체제 수준의 특성, 특히 페이지 크기의 영향을 받아, 난수 변수 할당 시 복사 오버헤드가 감소할 수 있어 더 작은 페이지 크기가 효율성을 향상시킬 수 있다.
• 시스템은 언어 수준 확장 없이도 SMC 및 입자 MCMC와 같은 전방 추론 전략을 표준 OS 프리미티브만으로 효율적으로 실행할 수 있음을 입증한다.
• 관측 장벽에서의 프로세스 동기화 오버헤드가 성능 저하 요인임을 확인했으며, 이는 최적화된 큐 기반 동기화 모델의 잠재적 개선 가능성을 시사한다.
• 이 접근법은 향후 아키텍처 특화 최적화, 예를 들어 코어 간 빠른 프로세스 멀티플렉싱을 위한 맞춤형 페이지 교체 정책에 대한 시스템 연구를 가능하게 한다.