[論文レビュー] Metrics Between Probability Distributions on Finite Sets of Different Cardinalities by Maximizing Mutual Information (MMI)

M. Vidyasagar|arXiv (Cornell University)|Apr 23, 2011

Advanced Data Compression Techniques被引用数 2

ひとこと要約

本稿では、周辺分布を保持するような連合分布のエントロピーを最小化することにより、異なる基数をもつ有限集合上の確率分布を比較するための新しい指標を提案する。この手法は相互情報量の最大化を用い、距離の上界を効率的に計算するための貪欲アルゴリズムを提供する。これにより、忠実度損失を最小限に抑えてi.i.d.確率過程の低次元近似が可能になる。

ABSTRACT

With increasing use of digital control it is natural to view control inputs and outputs as stochastic processes assuming values over finite alphabets rather than in a Euclidean space. As control over networks becomes increasingly common, data compression by reducing the size of the input and output alphabets without losing the fidelity of representation becomes relevant. This requires us to define a notion of distance between two stochastic processes assuming values in distinct sets, possibly of different cardinalities. If the two processes are i.i.d., then the problem becomes one of defining a metric between two probability distributions over distinct finite sets of possibly different cardinalities. This is the problem addressed in the present paper. A metric is defined in terms of a joint distribution on the product of the two sets, which has the two given distributions as its marginals, and has minimum entropy. Computing the metric exactly turns out to be NP-hard. Therefore an efficient greedy algorithm is presented for finding an upper bound on the distance. This problem also turns out to be NP-hard, so again a greedy algorithm is constructed for finding a suboptimal reduced order approximation. Taken together, all the results presented here permit the approximation of an i.i.d. process over a set of large cardinality by another i.i.d. process over a set of smaller cardinality. In future work, attempts will be made to extend this work to Markov processes over finite sets.

研究の動機と目的

• デジタル制御およびデータ圧縮の文脈において、基数が異なる有限集合上の確率分布の間の意味のある距離の概念を定義すること。
• 大きなアルファベット上での確率過程を、より単純な小さなアルファベット上での過程に忠実度を保ちつつ近似する課題に対処すること。
• 正確な計算がNP困難であることを踏まえ、距離を推定するための効率的な計算手法を開発すること。
• 有限集合上でのi.i.d.過程に対して、最適でないが計算可能である低次元近似手法を提供すること。
• 今後の研究においてマルコフ過程への拡張を可能にするフレームワークの基盤を築くこと。

提案手法

• 与えられた周辺分布をもつ任意の連合分布の最小エントロピーとして、異なる有限集合上での2つの確率分布の距離を定義する。
• 周辺分布の制約の下で相互情報量を最大化する最適化問題として距離計算を定式化する。
• 正確な計算がNP困難であるため、距離の上界を計算するための貪欲アルゴリズムを用いる。
• 大きな集合上でのi.i.d.過程を、より小さな集合上での過程に近似するための、2番目の貪欲アルゴリズムを構築する。
• 指標に用いられる連合分布が、元の周辺分布を制約として保持することを保証する。
• 特にエントロピーと相互情報量を用いた情報理論的原則を活用して、指標の定義と計算を行う。

実験結果

リサーチクエスチョン

• RQ1 基数が異なる有限集合上での確率分布の間の指標をどのように定義できるか？
• RQ2 提案された指標の計算の計算複雑性は何か？ また、効率的な近似が可能か？
• RQ3 この指標を用いて、大きなアルファベット上でのi.i.d.過程を、より小さなアルファベット上での過程に低次元近似できるか？
• RQ4 このフレームワークにおいて、近似の忠実度と計算複雑性のトレードオフは何か？
• RQ5 このアプローチは、記憶を持つマルコフ過程へどの程度拡張可能か？

主な発見

• 提案された指標は、与えられた周辺分布をもつ任意の連合分布の最小エントロピーとして定義され、これは相互情報量の最大化に相当する。
• 指標の正確な計算がNP困難であることが証明されており、近似手法の導入が不可避である。
• 距離の上界を計算するための貪欲アルゴリズムが開発され、実用的な近似手法が提供される。
• 大きな集合上でのi.i.d.過程を、より小さな集合上での過程に近似するための2番目の貪欲アルゴリズムが構築された。
• このフレームワークにより、大きなアルファベット上での確率過程の損失圧縮が可能になり、統計的忠実度が保持される。
• 結果として得られた知見は、今後のマルコフ過程への拡張の基盤を築くものであり、ネットワーク制御やデータ圧縮分野への応用可能性が示唆される。