[論文レビュー] A partial information decomposition for discrete and continuous variables

Kyle Schick-Poland, Abdullah Makkeh+4 more|arXiv (Cornell University)|Jun 23, 2021

Neural Networks and Applications参考文献 21被引用数 9

ひとこと要約

本稿は、離散および連続の確率変数の混合を含む任意の確率変数に対して、局所的およびグローバルな冗長情報の測度を一般化する測度論的枠組みを提案する。Radon-Nikodým微分を用いて共有除外法を連続系に拡張することにより、可逆変換に対して不変性を保ち、確率密度関数に関して微分可能であり、重要なPID公理を満たす。これにより、複雑な現実世界のデータ設定においても、厳密なPID分析が可能になる。

ABSTRACT

Conceptually, partial information decomposition (PID) is concerned with separating the information contributions several sources hold about a certain target by decomposing the corresponding joint mutual information into contributions such as synergistic, redundant, or unique information. Despite PID conceptually being defined for any type of random variables, so far, PID could only be quantified for the joint mutual information of discrete systems. Recently, a quantification for PID in continuous settings for two or three source variables was introduced. Nonetheless, no ansatz has managed to both quantify PID for more than three variables and cover general measure-theoretic random variables, such as mixed discrete-continuous, or continuous random variables yet. In this work we will propose an information quantity, defining the terms of a PID, which is well-defined for any number or type of source or target random variable. This proposed quantity is tightly related to a recently developed local shared information quantity for discrete random variables based on the idea of shared exclusions. Further, we prove that this newly proposed information-measure fulfills various desirable properties, such as satisfying a set of local PID axioms, invariance under invertible transformations, differentiability with respect to the underlying probability density, and admitting a target chain rule.

研究の動機と目的

• 離散系に限らない部分情報分解（PID）を、一般の測度論的確率変数（連続および混合離散-連続変数を含む）にまで拡張すること。
• 測度論的確率空間においても適切に定義された局所的およびグローバルな冗長情報測度を構築すること。
• 提案されたPID測度が、可逆変換に対する不変性および基礎となる確率密度関数に関する微分可能性を含む、核心的な公理的性質を満たすようにすること。
• Dirac測度の極限において、離散PID定義が回復されることを保証し、変数タイプ間の一貫性を確保すること。
• 神経科学や統計的モデリングにおける実世界のデータ解析への応用を可能にするために、数学的に厳密かつ取り扱いやすい枠組みを提供すること。

提案手法

• 本稿は、共有除外に基づく局所的冗長情報測度 $ i^{ ext{sx}}_{ ext{cap}} $ を導入し、基準測度に関する結合分布のRadon-Nikodým微分によって定義する。
• グローバルPID測度 $ I^{ ext{sx}}_{ ext{cap}} $ は、標本空間にわたる局所的測度の積分によって得られ、古典的情報理論的平均化と整合性を持つ。
• 同フレームワークは、可逆な位相同相写像に対して不変であることが証明され、座標変換の下でもPID構造が保存される。
• 測度が基礎となる確率密度関数に関して微分可能であることが確立され、統計的モデルにおける勾配ベース最適化が可能になる。
• ターゲットの連鎖律が導出され、合成ターゲット変数の上での冗長情報が加法的に分解されることを示し、情報理論的原則と整合的である。
• 絶対連続性を活用した測度論的基礎を用いることで、Makkehら（2023）の離散PIDフレームワークが連続および混合系に一般化される。

実験結果

リサーチクエスチョン

• RQ1 連続および混合離散-連続確率変数に対して、一貫性があり微分可能なPID枠組みを構築できるか？
• RQ2 提案された測度が局所PID公理を満たし、可逆変換に対して不変か？
• RQ3 測度論を用いて、共有除外に基づく離散PID定義を連続系にどのように拡張できるか？
• RQ4 提案された冗長情報測度が、基礎となる確率密度関数の変化に関して微分可能か？
• RQ5 Diracデルタ測度の極限において、連続フレームワークが離散PID定義を回復できるか？

主な発見

• 提案された局所的冗長情報測度 $ i^{ ext{sx}}_{ ext{cap}} $ は、連続および混合変数タイプを含む一般の測度論的確率空間においても適切に定義される。
• 測度は可逆変換に対して不変であるため、座標系が変化する現実世界のデータ応用においてもロバストである。
• 測度は基礎となる確率密度関数に関して微分可能であり、統計的学習や多様体ベース推論への応用が可能になる。
• グローバルPID測度 $ I^{ ext{sx}}_{ ext{cap}} $ はターゲット連鎖律を満たし、合成ターゲット変数における冗長情報の分解が可能になる。
• Dirac測度の極限において、連続フレームワークはMakkehら（2023）の離散PID定義を回復し、分野間の一貫性が保たれる。
• 非負の分解における連続系の根本的課題（負の微分エントロピーの問題）が同定され、参照測度項 $ F $ を通じた解決策の可能性が示唆されるが、これにより未定義パrameter選択の問題が生じる。