[論文レビュー] Information Processing Equalities and the Information-Risk Bridge

Robert C. Williamson, Zac Cranko|arXiv (Cornell University)|Jul 25, 2022

Statistical Mechanics and Entropy被引用数 5

ひとこと要約

本稿は、凸集合上のサポート関数の期待値として発散を再定義することにより、統計的実験における情報の測定のための統一的枠組みを導入する。この枠組みにより、情報尺度とベイズリスクの間の対称的かつ等式に基づく橋渡しが確立され、$φ$-発散、MMD、IPMを一般化し、情報処理不等式がこの定式化下では等式となることが明らかになる。これには、モデルクラス選択やノイズによる正則化の応用が伴う。

ABSTRACT

We introduce two new classes of measures of information for statistical experiments which generalise and subsume $ϕ$-divergences, integral probability metrics, $\mathfrak{N}$-distances (MMD), and $(f,Γ)$ divergences between two or more distributions. This enables us to derive a simple geometrical relationship between measures of information and the Bayes risk of a statistical decision problem, thus extending the variational $ϕ$-divergence representation to multiple distributions in an entirely symmetric manner. The new families of divergence are closed under the action of Markov operators which yields an information processing equality which is a refinement and generalisation of the classical data processing inequality. This equality gives insight into the significance of the choice of the hypothesis class in classical risk minimization.

研究の動機と目的

• 既存の情報尺度（$φ$-発散、MMD、積分確率的尺度など）を一つの対称的枠組みに一般化・統一すること。
• 古典的な情報処理不等式における非対称性と不等式性を解消し、情報尺度とベイズリスクの間の明確で等式に基づく関係を確立すること。
• 仮説クラスの役割をリスク最小化の文脈で形式化し、モデル制約を情報の定義そのものに直接組み込むこと。
• 古典的な情報処理不等式が、情報がこの枠組み内で一貫して測定される場合、実際に等式であることが示されること。
• ノイズによる正則化やマルコフ作用素を自然に組み込む幾何学的・変分的基礎を情報尺度に与えること。

提案手法

• 凸集合のサポート関数の期待値として情報尺度を再定義し、発散の幾何的解釈を可能にする。
• 二つの新しい情報尺度のクラスを導入する：非制約型（$φ$-発散とIPMを一般化）と制約型（関数族$\mathcal{F}$を用いたモデルクラス制限を統合）。
• マルコフ作用素がこれらの情報尺度の構造を保存することを示し、古典的なデータ処理不等式を精緻化する新しい情報処理等式を導出する。
• 損失関数と仮説クラスを直接埋め込んだ変分表現を通じて、情報尺度とベイズリスクの1対1対応を確立する。
• Legendre-Fenchel双対性と凸解析を用い、複数分布に対する発散の変分形を統一的に扱う。
• 既知の尺度（MMDやIPMなど）を、サポート関数定式化から自然に導出される特殊ケースとして再解釈する。

実験結果

リサーチクエスチョン

• RQ1 既存の発散（$φ$-発散、MMD、IPMなど）を、一つの対称的枠組みに統一することは可能か？
• RQ2 統計的意思決定問題における情報尺度とベイズリスクの正確な関係は何か？
• RQ3 なぜ古典的な情報処理不等式は全体像を捉えておらず、どのようにして等式に昇格できるか？
• RQ4 仮説クラスの選択（例：$\mathcal{F}$）は、学習問題における情報量とリスクにどのように影響を与えるか？
• RQ5 提案された枠組み下で、マルコフ作用素は情報の保存・変換をどのように行うか？これはデータ処理不等式をどのように精緻化するか？

主な発見

• 本稿は、損失関数とモデルクラスを適切に考慮した場合、情報尺度とベイズリスクの間の対称的かつ等式に基づく橋渡しを確立し、両者の1対1対応を示した。
• 古典的なデータ処理不等式は、提案された枠組み下で、情報損失が明確に定量化されるより一般的な情報処理等式の特殊ケースであることが示された。
• 新しい情報尺度はマルコフ作用素に対して閉じており、情報処理が不等式ではなく等式として分析可能であり、両側で一貫した測定が可能である。
• この枠組みは、既存の発散を自然に包含・一般化する：$φ$-発散、MMD、IPM、$(f,\Gamma)$-発散はすべて、提案された$\mathfrak{F}$-情報および$\mathcal{F}$-情報族の特殊ケースである。
• 制約付き情報尺度（$\mathcal{F}$-情報）は、関数族による制限による正則化が情報の定義そのものと本質的に結びついていることを明らかにし、一般化とロバストネスへの応用を正当化した。
• サポート関数定式化により、仮説クラスと損失関数の役割が明確に幾何学的に解釈可能となり、古典的定義における曖昧さが解消された。