[論文レビュー] Maximizing Multi-Information

Nihat Ay, Andreas Knauf|arXiv (Cornell University)|Feb 1, 2007

Computability, Logic, AI Algorithms被引用数 36

ひとこと要約

本稿は、確率分布における確率的依存性の尺度である多重情報量の最大化について、グローバル・マキマイザーの構造を分析することで調査している。本稿では、純粋な2次相互作用の指数型分布族が、その閉包に多重情報量のすべてのグローバル・マキマイザーを含むことを証明し、ボルツマンマシンやニューラルネットワークのようなモデルの幾何学的かつ情報理論的基盤を提供する。

ABSTRACT

Stochastic interdependence of a probablility distribution on a product space is measured by its Kullback-Leibler distance from the exponential family of product distributions (called multi-information). Here we investigate low-dimensional exponential families that contain the maximizers of stochastic interdependence in their closure. Based on a detailed description of the structure of probablility distributions with globally maximal multi-information we obtain our main result: The exponential family of pure pair-interactions contains all global maximizers of the multi-information in its closure.

研究の動機と目的

• 多重情報量をグローバルに最大化する確率分布の幾何的構造を理解すること。
• 低次元の指数型分布族が、確率的依存性のすべてのグローバル・マキマイザーを捉えることができるかどうかを特定すること。
• ニューラルネットワークおよびボルツマンマシンにおけるインフォマックス原理の理論的基盤を確立すること。
• 積分布からのカルバック・ライブラー情報量のマキマイザーと関連する指数型分布族の閉包性質を分析すること。

提案手法

• 相互依存性を、積分布の指数型分布族からの距離として測るため、カルバック・ライブラー情報量（相対エントロピー）を用いる。
• 情報幾何を用いて、多重情報量のグローバル・マキマイザーを含む指数型分布族の閉包を研究する。
• 任意のグローバル・マキマイザーに収束する、純粋な2次相互作用の指数型分布族内の分布の列を構成する。
• 直交射影を用いて、相互作用ポテンシャルの線形部分空間へ関数を射影し、収束する列を生成する。
• アフィン部分空間によって誘導されるギブス測度と指数型分布を用いて、特定の相互作用構造を持つ分布をモデル化する。
• パラメータ化されたポテンシャルが、極限においてマキマイザー分布に近づくように、サポート構造と収束性を分析する。

実験結果

リサーチクエスチョン

• RQ1 多重情報量のグローバル・マキマイザーは、低次元の指数型分布族によって近似可能か？
• RQ2 最大の確率的依存性を達成するために、純粋な2次相互作用が果たす構造的役割は何か？
• RQ3 マキマイザーのサポートは、指数型分布族の閉包性質とどのように関係するか？
• RQ4 純粋な2次相互作用の指数型分布族は、その閉包に多重情報量のすべてのグローバル・マキマイザーを含むか？
• RQ5 ニューラルネットワークモデルの文脈において、このような族の閉包の幾何学的および情報理論的意義は何か？

主な発見

• 純粋な2次相互作用の指数型分布族は、その閉包に多重情報量のすべてのグローバル・マキマイザーを含む。
• 任意のグローバル・マキマイザー $ p $ に対して、純粋な2次相互作用の指数型分布族内に $ p $ に収束する列が存在する。
• 純粋な2次相互作用族の閉包には、たとえば $ \frac{1}{2}(\delta_{(0,0)} + \delta_{(1,1)}) $ のような決定的分布ですら、マキマイザーが含まれる。
• 収束は、$ \beta_m \uparrow \infty $ を満たすパラメータ化されたポテンシャル $ E^{(m)} = -\beta_m(\sum a_i \phi_i - b)^2 $ を用いて達成され、これによりマキマイザーのサポートに漸近的に集中する。
• 純粋な2次相互作用族の次元は $ (n_N - 1) \sum_{i=1}^{N-1} (n_i - 1) $ であり、このような相互作用に期待される自由度と一致する。
• この構成は、2次相互作用ポテンシャルの部分空間への関数の直交射影に依存しており、これにより対応するギブス測度が目的のマキマイザーに収束することが保証される。