[論文レビュー] A differentiable measure of pointwise shared information.

Abdullah Makkeh, Aaron J. Gutknecht+1 more|arXiv (Cornell University)|Feb 9, 2020

Neural Networks and Applications被引用数 7

ひとこと要約

本稿では、確率質量排除の原則に基づくファノの原理に裏付けられた、微分可能なポイントワイズ共有情報の測度を提案する。この測度により、ニューラルネットワークにおける局所学習が可能となる。各実現に対して明確に定義され、冗長性ラティス上での意味のあるモービウス逆転を満たし、ターゲットチェーンルールに従う。従来の微分不能なPID測度に対する、微分可能で操作的に解釈可能な代替手段を提供する。

ABSTRACT

Partial information decomposition (PID) of the multivariate mutual information describes the distinct ways in which a set of source variables contains information about a target variable. The groundbreaking work of Williams and Beer has shown that this decomposition can not be determined from classic information theory without making additional assumptions, and several candidate measures have been proposed, often drawing on principles from related fields such as decision theory. None of these measures is differentiable with respect to the underlying probability mass function. We here present a novel measure that draws only on the principle linking the local mutual information to exclusion of probability mass. This principle is foundational to the original definition of the mutual information by Fano. We reuse this principle to define a measure of shared information based on the shared exclusion of probability mass by the realizations of source variables. Our measure is differentiable and well-defined for individual realizations of the random variables. Thus, it lends itself for example to local learning in artificial neural networks. We show that the measure can be interpreted as local mutual information with the help of an auxiliary variable. We also show that it has a meaningful Moebius inversion on a redundancy lattice and obeys a target chain rule. We give an operational interpretation of the measure based on the decisions that an agent should take if given only the shared information.

研究の動機と目的

• 部分的情報分解（PID）における微分可能な測度の欠如が、ニューラルネットワークの学習に応用できないことを是正すること。
• 確率変数の個々の実現に対して明確に定義されるポイントワイズ共有情報測度を開発すること。
• 基礎となる確率質量関数に関して微分可能であることを保証し、勾配ベースの最適化を可能にすること。
• 確率質量のファノの排除原理に基づく、原理的かつ操作的に解釈可能な測度を提供すること。
• 冗長性ラティス上でのモービウス逆転やターゲットチェーンルールといった理論的性質を確立すること。

提案手法

• 測度は、ファノの原理に基づき、共通情報が、ソース変数の実現に共通しない確率質量の排除から生じることに着目する。
• 共有情報は、すべてのソース変数実現に共通する確率質量の最小排除として定義される。
• 測度は、連合確率質量関数の局所関数として定式化され、微分可能性が保証される。
• 補助変数を導入することで、共有情報を局所的相互情報量の形式として解釈可能にする。
• 測度が冗長性ラティス上で意味のあるモービウス逆転を満たすことが示され、PIDフレームワークと整合性が保たれる。
• ターゲットチェーンルールが導出され、標準的な情報理論的分解原理との整合性が示される。

実験結果

リサーチクエスチョン

• RQ1 古典的情報理論の原則のみを用いて、微分可能なポイントワイズ共有情報測度を構築できるか？
• RQ2 共有情報を、操作的に意味のあるものでありながら、確率質量関数に関して微分可能となるように定義できるか？
• RQ3 提案された測度が、冗長性ラティス上で一貫したモービウス逆転を満たすか？
• RQ4 補助変数を用いることで、測度を局所的相互情報量の形式として解釈できるか？
• RQ5 測度がターゲットチェーンルールを満たすか。これにより、多次元情報分解との整合性が保証されるか？

主な発見

• 提案された測度は、基礎となる確率質量関数に関して微分可能であり、勾配ベースの学習に利用可能である。
• 測度は確率変数の個々の実現に対して明確に定義されており、局所的情報解析を可能にする。
• 冗長性ラティス上での意味のあるモービウス逆転を満たし、PIDフレームワークとの理論的整合性が保証される。
• 測度はターゲットチェーンルールを満たしており、標準的な情報分解原理との整合性が確認される。
• エージェントが共有情報のみを提示された場合にとる意思決定を通じて、操作的に解釈可能である。
• 補助変数を導入することで、測度は局所的相互情報量と等価になる。これにより、解釈可能性と理論的根拠が得られる。