[논문 리뷰] Bayesian machine learning via category theory

Jared Culbertson, Kirk Sturtz|arXiv (Cornell University)|2013. 12. 05.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 14

한 줄 요약

이 논문은 조건부 확률의 범주(기르리 모나드의 클라이슬리 범주 변형)를 사용하여 범주론적 프레임워크를 도입하여, 함수 공간에서의 매개변수 모델과 비매개변수 모델의 범주론적 기반을 제공한다. 이는 통합적이고 대칭적인 모노이드 구조를 갖는 약한 닫힘 범주를 가능하게 하며, 이는 매개변수적 및 비매개변수적 베이지안 추론을 모델링하는 데 유용하다. 주요 기여는 범주론적 방법을 통해 추론 맵의 해석적 구성이며, 칼만 필터는 이 형식론 내에서 은닉 마르코프 모델의 표준 사례로 나타난다.

ABSTRACT

From the Bayesian perspective, the category of conditional probabilities (a variant of the Kleisli category of the Giry monad, whose objects are measurable spaces and arrows are Markov kernels) gives a nice framework for conceptualization and analysis of many aspects of machine learning. Using categorical methods, we construct models for parametric and nonparametric Bayesian reasoning on function spaces, thus providing a basis for the supervised learning problem. In particular, stochastic processes are arrows to these function spaces which serve as prior probabilities. The resulting inference maps can often be analytically constructed in this symmetric monoidal weakly closed category. We also show how to view general stochastic processes using functor categories and demonstrate the Kalman filter as an archetype for the hidden Markov model.

연구 동기 및 목표

• 매개변수 공간에서 함수 공간으로의 가측 사상들을 사용하여 매개변수적 및 비매개변수적 베이지안 모델을 하나의 범주론적 프레임워크 안에서 통합한다.
• 교수 학습 문제에서 추론 맵을 해석적으로 구성하기 위해 대칭적인 모노이드 약한 닫힘 범주를 제공한다.
• 가우시안 과정과 은닉 마르코프 모델을 포함한 확률적 과정들이 이 범주 내에서 함자로 어떻게 형식화될 수 있는지 보여준다.
• 칼만 필터가 이 범주론적 설정 내에서 추론의 표준 사례로 자연스럽게 유도됨을 보여준다.
• 결정 이론을 베이지안 추론과 통합하기 위해 결정 규칙의 범주로 확장함으로써 기초를 마련한다.

제안 방법

• 객체가 가측 공간이고 사상이 마르코프 커널인 조건부 확률의 범주 𝒫에서의 추론으로 베이지안 학습을 모델링한다.
• 𝒫 내의 텐서 곱 구조를 사용하여 결합 분포와 조건부 분포를 표현함으로써, 복잡한 시스템의 조합적 모델링을 가능하게 한다.
• 함수 공간을 𝒫의 객체로 표현하고, 확률적 과정을 이러한 공간으로 향하는 화살표로 표현하며, 가우시안 과정은 결합 정규 분포를 통해 정의한다.
• 약한 닫힘 구조를 활용하여, 푸시포워드 측도와 조건부 기대값을 통해 추론 맵을 구성한다.
• 시간이 도메인 범주인 함자 범주를 사용하여 마르코프 과정과 은닉 마르코프 모델을 형식화한다.
• 푸시포워드 및 딜라크 측도를 포함한 범주론적 적분 기법을 사용하여 기대값과 조건부 확률을 계산한다.

실험 결과

연구 질문

• RQ1 매개변수적 및 비매개변수적 베이지안 모델은 어떻게 하나의 범주론적 프레임워크 내에서 체계적으로 통합될 수 있는가?
• RQ2 범주론적 텐서 곱과 약한 닫힘 구조를 사용하여, 베이지안 함수 추정의 추론 맵을 해석적으로 구성할 수 있는가?
• RQ3 칼만 필터와 가우시안 과정과 같은 표준 모델들이 이 범주론적 형식론에서 자연스럽게 어떻게 유도되는가?
• RQ4 함자 범주가 은닉 마르코프 모델과 같은 시간에 따라 변화하는 확률적 과정을 모델링하는 데 어떤 역할을 하는가?
• RQ5 범주론적 설정에서 결정 수립 구성 요소는 어떻게 베이지안 추론과 통합될 수 있는가?

주요 결과

• 조건부 확률의 범주 𝒫는 대칭적인 모노이드 약한 닫힘 범주를 이룬다. 이는 매개변수적 및 비매개변수적 모델 모두에 대해 추론 맵의 해석적 구성이 가능함을 의미한다.
• 가우시안 과정는 결합 정규 분포를 갖는 확률적 과정으로 자연스럽게 모델링되며, 이들의 추론은 범주론적 적분과 푸시포워드 연산을 통해 유도될 수 있다.
• 칼만 필터는 이 프레임워크 내에서 은닉 마르코프 모델의 추론에 대한 표준 사례로 나타나며, 조건부 확률의 범주론적 구조에서 유도된다.
• 노이즈가 없는 측정과 노이즈가 있는 측정의 추론 맵은 푸시포워드 측도와 조건부 기대값을 사용하여 명시적으로 구성되며, 이는 해석적 취급 가능성과 일치한다.
• 유한 차원 매개변수 공간을 함수 공간으로 통합하는 가측 사상 i:ℝᵖ→Yˣ를 통해 매개변수적 모델과 비매개변수적 모델 간의 깊은 이원성(duality)이 드러난다.
• 동일한 조건부 분포(𝑃̄=𝑄̄)를 갖는 비유일한 측도 𝑃와 𝑄의 존재는 약한 닫힘 구조가 존재성은 보장하지만 유일성은 보장하지 않음을 보여주며, 이는 이 구조가 강한 닫힘 범주가 아니라 약한 닫힘 범주임을 확인한다.