[논문 리뷰] The Compositional Structure of Bayesian Inference

Dylan Braithwaite, Jules Hedges외 1명|arXiv (Cornell University)|2023. 01. 01.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 마르코프 핵심의 대칭 모나드 카테고리 내에서 베이지안 추론을 조합적 과정으로 형식화하며, 역추론을 렌즈 유사 체인 규칙을 통해 체계적으로 조각별로 계산할 수 있음을 보여준다. 주요 기여는 조합적 역추론과 손실 함수를 통해 근사 추론을 가능하게 하는 기능적이고 유형 기반의 프로그래밍 프레임워크를 제공하는 것이다.

ABSTRACT

Bayes' rule tells us how to invert a causal process in order to update our beliefs in light of new evidence. If the process is believed to have a complex compositional structure, we may observe that the inversion of the whole can be computed piecewise in terms of the component processes. We study the structure of this compositional rule, noting that it relates to the lens pattern in functional programming. Working in a suitably general axiomatic presentation of a category of Markov kernels, we see how we can think of Bayesian inversion as a particular instance of a state-dependent morphism in a fibred category. We discuss the compositional nature of this, formulated as a functor on the underlying category and explore how this can used for a more type-driven approach to statistical inference.

연구 동기 및 목표

• 특정 확률 모델에서 벗어나 카테고리적 프레임워크 내에서 베이지안 역추론을 조합적 연산으로 형식화하는 것.
• 베이지안 역추론이 사전 분포에 의존하므로 조합 시 변화할 수 있다는 문제를 해결하기 위해 섬유화된 카테고리 내에서 상태에 의존하는 사상 도입.
• 모듈러하고 재사용 가능한 추론 컴포넌트를 지원하는 베이지안 역추론을 위한 기능적 구조 개발.
• 확률적 추론, 자동 미분, 예측 코딩의 개념을 공통의 조합적 렌즈 프레임워크로 통합하는 것.
• 의존 유형과 조합적 손실 함수를 통해 확률적 프로그래밍에서 알고리즘 최적화와 정적 유형 안정성을 가능하게 하는 것.

제안 방법

• 복사 및 삭제 사상이 있는 대칭 모나드 카테고리 기반의 카테고리적 프레임워크를 사용하여 마르코프 핵심과 그 조합을 모델링.
• 베이지안 역추론을 섬유화된 카테고리 내의 상태에 의존하는 사상으로 정의하며, 여기서 역추론은 입력 객체의 사전 분포에 따라 달라진다.
• 베이지안 역추론을 위한 체인 규칙 도입: BayesInv(f ∘ g, p) = BayesInv(g, p) ∘ BayesInv(f, g ∘ p), 역모드 자동 미분과 유사.
• 각 사상에 관련된 베이지안 역추론을 갖춘 카테고리인 베이지안 렌즈의 카테고리를 구성하여 조합적 추론을 가능하게 한다.
• 문자열 다이어그램을 사용하여 추론 계산을 시각화하고 단순화하며, 복잡한 수식을 직관적인 그래픽적 조합으로 환원.
• KL 발산과 변분 자유 에너지 등과 같은 매개변수화된 손실 함수를 도입하여 조합적 역추론에서의 근사 오차를 정량화.

실험 결과

연구 질문

• RQ1 베이지안 역추론은 순차적인 확률적 과정 간에 체계적으로 조합될 수 있는가? 만약 가능하다면 어떤 카테고리적 조건이 필요한가?
• RQ2 베이지안 역추론이 사전 분포에 의존함으로써 카테고리적 프레임워크 내에서의 조합적 구조에 어떤 영향을 미치는가?
• RQ3 베이지안 업데이트의 체인 규칙을 마르코프 카테고리 위의 기능으로 형식화할 수 있는가? 그 구조적 성질은 무엇인가?
• RQ4 베이지안 역추론의 렌즈 유사 구조를 활용하여 확률적 추론을 백프로파게이션 및 예측 코딩과 같은 다른 이중 방향 프로세스와 통합할 수 있는가?
• RQ5 조합적 베이지안 역추론을 어떻게 사용하여 정확도 보장이 보장된 근사 추론 알고리즘을 구성할 수 있는가?

주요 결과

• 베이지안 역추론은 역모드 자동 미분와 유사한 체인 규칙을 통해 조합되며, 이는 효율적이고 모듈러한 추론 계산을 가능하게 한다.
• 베이지안 역추론의 조합적 구조는 마르코프 카테고리 위의 기능으로 형식화되며, 역추론은 상태에 의존하는 사상을 통해 사전 분포에 따라 달라진다.
• 문자열 다이어그램은 복잡한 추론 방정식을 단순화하고 추론 패턴을 이해하는 데 강력한 시각적 계산 도구를 제공한다.
• 근사 베이지안 역추론은 KL 발산과 같은 국소 손실 함수를 매개변수화하여 원칙적이고 모듈러한 근사를 가능하게 한다.
• 이 프레임워크는 공통의 렌즈 유사 구조를 통해 확률적 추론을 예측 코딩 및 강화 학습과 자연스럽게 통합한다.
• 이 접근법은 의존 유형과 조합적 손실 함수를 통해 확률적 프로그래밍 언어의 유형 기반, 정확도 보장 설계를 지원하며, 정적 검증과 최적화 가능성이 있다.