[論文レビュー] A Theory of Usable Information Under Computational Constraints

Yilun Xu, Shengjia Zhao+3 more|arXiv (Cornell University)|Feb 25, 2020

Machine Learning and Algorithms参考文献 30被引用数 31

ひとこと要約

本論文は予測的V情報を提案する。これは計算資源の制約と観測者の能力を考慮したシャノン情報の変分拡張であり、PAC保証を伴う推定を可能にし、構造学習と公正な表現学習を改善する。

ABSTRACT

We propose a new framework for reasoning about information in complex systems. Our foundation is based on a variational extension of Shannon's information theory that takes into account the modeling power and computational constraints of the observer. The resulting \emph{predictive $\mathcal{V}$-information} encompasses mutual information and other notions of informativeness such as the coefficient of determination. Unlike Shannon's mutual information and in violation of the data processing inequality, $\mathcal{V}$-information can be created through computation. This is consistent with deep neural networks extracting hierarchies of progressively more informative features in representation learning. Additionally, we show that by incorporating computational constraints, $\mathcal{V}$-information can be reliably estimated from data even in high dimensions with PAC-style guarantees. Empirically, we demonstrate predictive $\mathcal{V}$-information is more effective than mutual information for structure learning and fair representation learning.

研究の動機と目的

• 観測者のモデリング能力と資源制約を反映する、計算可能な情報の概念を動機づける。
• Shannonエントロピーと相互情報量の制約付き対として、予測的Vエントロピーと予測的V情報量を定義する。
• 複雑さの境界の下で、V情報量がPACスタイルの保証を伴って推定可能であることを示す。
• 従来の相互情報量と比較して、V情報量が構造学習と公正な表現学習を改善することを示す。

提案手法

• 任意の無知性を含む予測モデルファミリーVを定義し、それを用いて予測的VエントロピーH_V(Y|X)を、V上の期待負対数尤度の下限として定義する。
• 予測的V情報量I_V(X -> Y) = H_V(Y|∅) - H_V(Y|X)を定義する。
• 適切なVの選択の下で、V情報量をShannonエントロピーやR^2などの特殊ケースと関連付ける。
• 経験データを用いたI_VのPACスタイル推定量を提案し、誤差をRademacher複雑さで評価（定理1）。
• 有向辺上のV情報量を用い、Chu-Liuアルゴリズムを用いて最大有向木を構成する構造学習アルゴリズム（Algorithm 1）を開発する（定理2）。
• Chow-Liu木構成や遺伝子ネットワーク推定におけるV情報量の実証的優位性を示し、公平性への適用性を示す。

実験結果

リサーチクエスチョン

• RQ1 計算とモデリング能力が制約されるとき、情報はどのように定義できるか？
• RQ2 予測的V情報量は相互情報量を一般化し、複雑さの制約下で有限サンプルでも推定可能なままであり得るか？
• RQ3 Shannonベースの方法と比べて、V情報量の利用は構造学習や公正性タスクを改善するか？
• RQ4 V情報量を活用する実用的なアルゴリズムは、階層的構造の学習に有限サンプル保証を提供できるか？
• RQ5 データ処理と予測タスクの不対称性の下で、V情報量はどのように振る舞うか？

主な発見

• 予測的V情報量は相互情報量を一般化し、無制限の予測ファミリーの下ではそれに還元される。
• V情報量はPACスタイルの保証とともに推定可能である（定理1）。
• V情報量を用いた有向木構造学習アプローチ（Algorithm 1）は有限サンプル性能保証を有する（定理2）。
• 実証結果は、高次元の構造学習と遺伝子ネットワーク推定において、V情報量ベースのChow-Liu木が相互情報量ベースの手法より優れていることを示す。
• V情報量は表現学習における公正性の利点を提供し、モデルクラスの制約下でMIベース手法の限界を強調する。