[논문 리뷰] Functional Tensors for Probabilistic Programming

Fritz Obermeyer, Eli Bingham외 3명|arXiv (Cornell University)|2019. 10. 23.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 11

한 줄 요약

이 논문은 기능 텐서(funsors)를 소개한다. funsor는 텐서 기반 계산을 확률 프로그래밍으로 확장하여 통합된 프레임워크 내에서 정확한 추론과 근사 추론을 가능하게 하는 소프트웨어 추상화이다. 연속 분포와 기호 연산을 지원하도록 텐서를 일반화함으로써, funsor는 변수 제거를 통한 효율적이고 병렬적인 정확한 추론과 혼합 추론 전략을 가능하게 하며, 이는 파이로(Pyro)에서 이산 및 연속 변수 모두에 대해 지원된다.

ABSTRACT

It is a significant challenge to design probabilistic programming systems that can accommodate a wide variety of inference strategies within a unified framework. Noting that the versatility of modern automatic differentiation frameworks is based in large part on the unifying concept of tensors, we describe a software abstraction for integration --functional tensors-- that captures many of the benefits of tensors, while also being able to describe continuous probability distributions. Moreover, functional tensors are a natural candidate for generalized variable elimination and parallel-scan filtering algorithms that enable parallel exact inference for a large family of tractable modeling motifs. We demonstrate the versatility of functional tensors by integrating them into the modeling frontend and inference backend of the Pyro programming language. In experiments we show that the resulting framework enables a large variety of inference strategies, including those that mix exact and approximate inference.

연구 동기 및 목표

• 메시지 전달, MCMC, 변분 추론과 같은 다양한 추론 전략을 하나의 확률 프로그래밍 프레임워크 내에서 통합하기 위해.
• 텐서 추상화를 연속 확률 분포와 기호 적분을 처리할 수 있도록 확장하여, 복잡한 모델에 대한 정확한 추론을 가능하게 하기 위해.
• 블랙박스 변분 추론과 칼만 필터링과 같은 정확한 방법을 결합하는 혼합 추론 전략을 지원하기 위해.
• 자동 미분과 기호 조작을 모두 지원하는 성능이 뛰어나고 조합 가능한 확률 프로그램을 위한 중간 표현을 제공하기 위해.
• 일반화된 변수 제거와 스캔 기반 필터링 알고리즘을 통해 효율적이고 병렬적인 정확한 추론을 가능하게 하기 위해.

제안 방법

• Funsors는 실수형 배열, 딜라크 델타 함수, 가우시안 분포를 포함하여 텐서를 일반화함으로써 확률 밀도의 기호 표현을 가능하게 한다.
• 이 프레임워크는 마진화(∑), 곱셈(∏), 치환, 함수 적용과 같은 연산을 포함하는 지연 평가 표현식의 일阶 언어를 도입한다.
• 핵심 구성 요소로는 이산 요인을 위한 Tensor, 정규화된 분포를 위한 Gaussian, 점 질량을 위한 Delta가 있으며, 이 모든 요소는 효율적인 GPU 가속 계산을 위한 O(1) 메모리 블록 기반으로 제공된다.
• 방송(broadcasting)은 정수형이 아닌 유형(예: 실수 벡터)의 자유 변수를 지원하도록 확장되어, 확률 모델의 형태 인식 가능한 조합을 가능하게 한다.
• 추론 알고리즘은 funsor 표현식의 비표준 해석으로 구현되어 있어, 정확한 추론과 근사 추론을 투명하게 혼합할 수 있다.
• 시스템은 확률 프로그램을 기호 적분과 몬테카를로 샘플링을 모두 지원하는 통합된 중간 표현으로 컴파일한다.

실험 결과

연구 질문

• RQ1 통합 소프트웨어 추상화가 텐서 연산을 연속 확률 분포를 처리할 수 있도록 일반화하고 정확한 추론을 가능하게 할 수 있는가?
• RQ2 기능 텐서는 복잡한 의존성을 가진 다수의 다룰 수 있는 확률 모델에 대해 효율적이고 병렬적인 정확한 추론을 어떻게 가능하게 하는가?
• RQ3 funsors는 기호 변수 제거와 블랙박스 변분 추론을 결합하는 혼합 추론 전략을 지원할 수 있는가?
• RQ4 연속 및 이산 변수를 가진 확률 프로그램에 대해 지연된 기호 표현을 사용할 경우 성능와 표현력 간의 상호 보완적 타협은 어떠한가?
• RQ5 funsor 추상화는 기존의 확률 프로그래밍 언어에 통합되어 정확한 추론과 근사 추론을 모두 지원할 수 있는가?

주요 결과

• funsor 프레임워크는 텐서 기반 계산을 연속 확률 분포로 성공적으로 확장하여, 가우시안과 딜라크 델타와 같은 밀도의 기호 표현을 가능하게 하였다.
• 기능 텐서는 일반화된 변수 제거와 스캔 기반 필터링 알고리즘을 통해 복잡한 의존성을 가진 모델에 대해서도 효율적이고 병렬적인 정확한 추론을 지원한다.
• 프레임워크는 기호 계산과 몬테카를로 계산을 통합함으로써, 칼만 필터링과 블랙박스 변분 추론을 결합한 혼합 추론 전략을 가능하게 한다.
• 파이로(Pyro)에서의 실험 결과, funsors는 복잡한 모델(예: 가우시안 혼합 모델)을 단일 최적화된 중간 표현으로 표현하고 컴파일할 수 있음을 보여주었다.
• 구현 결과, funsor 표현식이 O(1) 메모리 블록 기반으로 제공되어 모델 크기에 따라 효율적으로 확장되는 GPU 가속 연산을 지원함을 확인하였다.
• 통일된 유형 체계를 통해 이산 및 연속 잠재 변수를 모두 지원하며, 방송 기능을 정수형이 아닌 유형으로 확장하여 조합 가능하고 형태 인식 가능한 확률 모델링을 가능하게 하였다.