[論文レビュー] Mutual information, matroids and extremal dependencies

Emmanuel Abbé|arXiv (Cornell University)|Dec 21, 2010

Advanced Wireless Network Optimization参考文献 8被引用数 7

ひとこと要約

本稿は、マトロイド理論と情報理論の根本的関係を確立し、マトロイドのランク関数が複数アクセスチャネル（MAC）からの相互情報関数として表現可能であるための必要十分条件として、マトロイドが2進数であること（binary）であることを証明している。さらに、MACにおける整数値の相互情報関数は線形決定的チャネルに対応し、加法的ノイズモデルを通じてエントロピー的マトロイドがMACマトロイドの特別なケースとして現れることを示し、情報理論と組合せ論の主要な概念を統合している。

ABSTRACT

In this paper, it is shown that the rank function of a matroid can be represented by a "mutual information function" if and only if the matroid is binary. The mutual information function considered is the one measuring the amount of information between the inputs (binary uniform) and the output of a multiple access channel (MAC). Moreover, it is shown that a MAC whose mutual information function is integer valued is "equivalent" to a linear deterministic MAC, in the sense that it essentially contains at the output no more information than some linear forms of the inputs. These notes put emphasis on the connection between mutual information functionals and rank functions in matroid theory, without assuming prior knowledge on these two subjects. The first section introduces mutual information functionals, the second section introduces basic notions of matroid theory, and the third section connects these two subjects. It is also shown that entropic matroids studied in the literature correspond to specific cases of MAC matroids.

研究の動機と目的

• マトロイドのランク関数と複数アクセスチャネル（MAC）における相互情報関数の間の対応関係を確立すること。
• どのマトロイドが相互情報関数によって表現可能であるかを特定し、特に2進数マトロイドが唯一のクラスであることを同定すること。
• すべてのユーザー部分集合に対して整数値の均一相互情報関数を持つMACが、線形決定的MACと等価であることを示すこと。
• 加法的ノイズモデルを通じて、エントロピー的マトロイドがMACに基づくマトロイドの特別なケースとして現れることを示し、両者を統合すること。
• 両分野に関する先行知識を前提とせず、情報測度とマトロイド理論を結びつける自己完結的な入門を提供すること。

提案手法

• m人のユーザーを持つMACに対して、相互情報関数（MIF）を定義し、入力の部分集合と出力との間の相互情報量を、補完的入力の条件下で測定する。
• 独立同分布かつ一様分布の入力分布を仮定することで、均一相互情報関数（UMIF）を導入し、これは単一ユーザーの場合の標準的な相互情報量に対応する。
• 相互情報量の連鎖則と反復的分解を用いて、ユーザーのすべての部分集合についてのMIF値を再構築し、MACの構造と入力の独立性を活用する。
• ピンスカールの不等式とマルコフの不等式を適用して、条件付き分布と一様分布との全 Variation 距離を評価し、低相互情報量の2値確率変数の近似を可能にする。
• q進アルファベットへの一般化のために、q進数表現可能なマトロイドがq進数MACのUMIFに対応すると提案する。
• 有限体上の確率的ベクトルのエントロピー関数に基づいて定義されるエントロピー的マトロイドが、加法的ノイズモデルを持つ特定のMACマトロイドのクラスに等しいことを示す。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、マトロイドのランク関数が複数アクセスチャネル（MAC）の相互情報関数として表現可能か？
• RQ2 MACの相互情報関数がすべてのユーザー部分集合に対して整数値をとるためには、どのような構造的性質を満たす必要があるか？
• RQ3 有限体上の確率的ベクトルのエントロピー関数によって定義されるエントロピー的マトロイドは、MACに基づくマトロイドとどのように関係しているか？
• RQ4 整数値の相互情報関数を持つMACと線形決定的チャネルとの間にはどのような関係があるか？
• RQ5 MAC表現を用いて、マトロイド理論をq進数アルファベットへ拡張可能か？

主な発見

• マトロイドのランク関数が複数アクセスチャネル（MAC）の相互情報関数として表現可能であるための必要十分条件は、マトロイドが2進数であること（binary）である。
• 均一相互情報関数が整数値をとるMACは、線形決定的MACと等価であり、出力が入力の線形結合より情報量が多くならないことを意味する。
• i.i.d. 一様2値入力を持つMACの相互情報関数は、多形体公理を満たし、整数値をとる場合にはマトロイド構造を誘導する。
• 有限体上の確率的ベクトルのエントロピー関数に基づくエントロピー的マトロイドは、加法的ノイズモデルを持つMACマトロイドの特別なケースである。
• 任意の2値入力を持つMACについて、連鎖則と反復的分解を用いて、小さな部分集合での値から相互情報関数を完全に再構築可能である。
• 理論はq進数アルファベットへ一般化可能であり、q進数表現可能なマトロイドは、q進数MACの均一相互情報関数とちょうど一致する。