[논문 리뷰] Bayesian Updates Compose Optically

Toby St Clere Smithe|arXiv (Cornell University)|2020. 05. 31.

Philosophy and History of Science참고 문헌 14인용 수 14

한 줄 요약

이 논문은 렌즈 이론과 광학 이론의 수학적 프레임워크를 통해 베이지안 업데이트가 최적의 방식으로 복합화됨을 입증한다. 이는 복합 확률 과정을 뒤집을 때 구성 요소를 역순으로 뒤집는 것과 전체 과정을 직접 뒤집는 것이 동일한 결과를 낳음을 보여준다. 핵심 기여는 베이지안 역전이 섬세한 범주론적 구조 내에서 잘 정의된 복합 구조를 이룬다는 것을 증명하는 것으로, 정확한 베이지안 렌즈는 GetPut 법칙을 만족하지만, 믿음 혼합으로 인해 PutGet 또는 PutPut 법칙은 만족하지 못한다.

ABSTRACT

Bayes' rule tells us how to invert a causal process in order to update our beliefs in light of new evidence. If the process is believed to have a complex compositional structure, we may ask whether composing the inversions of the component processes gives the same belief update as the inversion of the whole. We answer this question affirmatively, showing that the relevant compositional structure is precisely that of the lens pattern, and that we can think of Bayesian inversion as a particular instance of a state-dependent morphism in a corresponding fibred category. We define a general notion of (mixed) Bayesian lens, and discuss the (un)lawfulness of these lenses when their contravariant components are exact Bayesian inversions. We prove our main result both abstractly and concretely, for both discrete and continuous states, taking care to illustrate the common structures.

연구 동기 및 목표

• 카테고리 이론을 사용하여 베이지안 추론을 복합적이고 이방향 변환으로 형식화하는 것.
• 복합 확률 과정의 뒤집힘을 구성 요소별로 베이지안 뒤집힘으로 수행할 경우 전체 과정을 직접 뒤집는 것과 동일한 결과가 도출됨을 보여주는 것.
• 섬세한 범주론 프레임워크 내에서 일반적인 (혼합) 베이지안 렌즈의 개념을 정의하는 것.
• 표준 렌즈 법칙(GetPut, PutGet, PutPut)의 관점에서, 특히 믿음 혼합과의 관련성에서 베이지안 렌즈의 법칙 준수 여부를 분석하는 것.

제안 방법

• 기저 범주에 확률 채널이 포함되고, 섬유에 믿음 업데이트 맵이 포함된 섬세한 범주에서 상태에 의존하는 사상으로서의 베이지안 뒤집힘을 형식화하는 것.
• 시각 맵이 기저 범주 사상이고, 업데이트 맵이 섬유 내 상태에 의존하는 채널인, 베이지안 렌즈의 범주(BayesLens)를 정의하는 것.
• 이론적 카테고리 이론과 이산 및 연속 확률 공간에 대한 구체적 구성 양식을 모두 사용하여 주요 결과를 증명하는 것.
• 섬세한 렌즈 구조를 등가의 카르테시안 옵틱 형태로 변환하기 위해 요나다 임bedding을 적용하여 표준 렌즈 복합화를 가능하게 하는 것.
• 상수 함자를 통해 기저 범주 채널을 섬유로 올려, 사전 믿음의 맥락에서 렌즈 법칙을 분석하는 것.
• 도식적 동형과 범주론적 자연성을 사용하여 정확한 베이지안 렌즈에 대해 GetPut, PutGet, PutPut 법칙을 검증하는 것.

실험 결과

연구 질문

• RQ1 복합 확률 과정의 베이지안 뒤집힘은 그 구성 요소들의 뒤집힘의 복합과 동일한가?
• RQ2 베이지안 추론은 기저가 확률 이론에 따라 시각 맵과 업데이트 맵이 구성된 섬세한 범주론에서 렌즈로 공식화될 수 있는가?
• RQ3 정확한 베이지안 렌즈가 표준 데이터베이스 렌즈 법칙(GetPut, PutGet, PutPut)을 어느 정도 만족하는가?
• RQ4 베이지안 업데이트에서의 믿음 혼합은 PutGet 및 PutPut 법칙이 성립하지 않는 이유는 무엇이며, 이는 인지 및 사이버네틱 모델링에 어떤 함의를 갖는가?

주요 결과

• 논문은 베이지안 업데이트가 최적으로 복합화됨을 증명한다: 채널 X→Y→Z의 뒤집힘은 Y→Z와 X→Y의 뒤집힘의 반대 순서 복합과 동형이다.
• 정확한 베이지안 렌즈는 어떤 사전 믿음 π에 대해서든 GetPut 법칙을 만족한다. 이는 관측치가 예측과 일치할 경우 믿음이 그대로 유지된다는 것을 의미한다.
• 정확한 베이지안 렌즈에서는 PutGet 및 PutPut 법칙이 일반적으로 성립하지 않는다. 베이지안 업데이트가 사전과 가능도 정보를 혼합하기 때문이며, 이는 덮어쓰기나 그대로 유지하는 방식이 아니기 때문이다.
• PutGet 및 PutPut 법칙의 실패는 믿음 혼합 때문이며, 이는 확률적 추론에 필수적이지만 데이터베이스 렌즈의 부울적, 결정론적 가정과는 호환되지 않는다.
• 베이지안 렌즈의 섬세한 범주는 요나다 임bedding을 통해 등가의 카르테시안 옵틱 형태로 변환될 수 있으며, 이는 표준 옵틱 복합화를 가능하게 한다.
• 이 프레임워크는 수직 범주가 기저와 다를 수 있는 혼합 베이지안 렌즈를 지원하여, 인지 및 사이버네틱 시스템에서 믿음 업데이트의 더 풍부한 모델링을 가능하게 한다.