[論文レビュー] A Bayesian Characterization of Relative Entropy

John C. Baez, T. A. Fritz|arXiv (Cornell University)|Feb 13, 2014

Receptor Mechanisms and Signaling参考文献 5被引用数 22

ひとこと要約

この論文はベイジアン枠組みにおいて圏論を用いて相対エントロピー（カルバック・ライブラー発散）の新しい公理的特徴付けを提供する。有限確率空間と測定プロセスおよび確率的逆写像を備えた圏FinStat上で関手を定義し、相対エントロピーが、最適な仮説のとき消えること、下付き連続であること、凸線形であること、スカラー倍を除いて一意に定まることを証明する。

ABSTRACT

We give a new characterization of relative entropy, also known as the Kullback-Leibler divergence. We use a number of interesting categories related to probability theory. In particular, we consider a category FinStat where an object is a finite set equipped with a probability distribution, while a morphism is a measure-preserving function $f: X o Y$ together with a stochastic right inverse $s: Y o X$. The function $f$ can be thought of as a measurement process, while s provides a hypothesis about the state of the measured system given the result of a measurement. Given this data we can define the entropy of the probability distribution on $X$ relative to the "prior" given by pushing the probability distribution on $Y$ forwards along $s$. We say that $s$ is "optimal" if these distributions agree. We show that any convex linear, lower semicontinuous functor from FinStat to the additive monoid $[0,\infty]$ which vanishes when $s$ is optimal must be a scalar multiple of this relative entropy. Our proof is independent of all earlier characterizations, but inspired by the work of Petz.

研究の動機と目的

• ベイジアン事前分布と推論を明示的に組み込んだ相対エントロピーの新しい公理的特徴付けを提供すること。
• 確率論における測定と信念の更新の概念を圏論を用いて形式化すること。
• 相対エントロピーが、自然な構造的および連続性条件を満たすFinStatから[0,∞]への関手として一意に特定されることを同定すること。
• 事前分布が情報量の増加に果たす役割を、圏論的枠組みに埋め込むことで明確化すること。
• 圏論的確率とベイジアン推論における情報理論的概念の基礎を確立すること。

提案手法

• 対象が有限集合に確率分布を備えたものであり、射が測度を保存する写像f:X→Yと確率的右逆写像s:Y→Xからなる圏FinStatを導入する。
• 確率的逆写像sを用いてY上の分布を押し上げることで、X上の事前分布を定義し、p_x = s_{x f(x)} r_{f(x)} を得る。
• 各射(f,s)に相対エントロピーS(q,p)を割り当て、事前分布pから真の分布qへの更新における情報量の増加を表す。
• 写像(f,s) ↦ S(q,p)が、加法的モノイド[0,∞]への関手を定義することを証明する。
• 相対エントロピーが、凸線形であること、下付き連続であること、かつ仮説sが最適なとき消えることによって一意に定まることを特徴付ける。
• 確率分布およびその合成の構造を形式化するために、操作子と凸代数といった圏論的道具を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン確率的設定において、相対エントロピーを一意に特徴付ける構造的性質は何か？
• RQ2 確率論における測定と信念の更新を、圏論を用いてどのように形式化できるか？
• RQ3 FinStatから[0,∞]への関手が相対エントロピーのスカラー倍であるための条件は何か？
• RQ4 このような特徴付けにおいて、下付き連続性がなぜ必要不可欠な条件となるのか？
• RQ5 最適性と凸性を含む圏論的公理から、相対エントロピーを導出できるか？

主な発見

• 相対エントロピーは、凸線形であること、下付き連続であること、かつ確率的逆写像sが最適なとき消えることによって、FinStatから[0,∞]への関手として一意に定まる。
• 関手的構造により、合成測定プロセスの相対エントロピーが、その成分の相対エントロピーの和に一致することが保証される。
• 事前分布は確率的逆写像sとY上の測定分布を用いて構成され、ベイジアン信念の更新を形式化する。
• 下付き連続性は本質的である：相対エントロピーは確率単体の直積上で連続ではないが、下付き連続である。
• この特徴付けは、ペツや他の研究者が異なる公理に基づいて行ったものとは独立している。
• この枠組みは自然に位相的圏に埋め込まれる。[0,∞]に上位位相を備えたものは凸代数をなしており、これにより関手の構成が可能になる。