[論文レビュー] Fourier-Motzkin Elimination Software for Information Theoretic Inequalities

Ido B. Gattegno, Ziv Goldfeld+1 more|arXiv (Cornell University)|Oct 13, 2016

Wireless Communication Security Techniques参考文献 6被引用数 20

ひとこと要約

本稿では、情報理論的レート領域におけるフーリエ＝モツキン削除（FME）を自動化するとともに、シャノン型不等式（STI）を用いた冗長性除去を実行するオープンソースのMATLABソフトウェアFME-ITを提示する。線形計画法とマークフ・関係およびエントロピー因数分解から導かれるSTI制約を統合することにより、補助レートと非活性な不等式を削除し、ネットワーク情報理論における手動導出の複雑さを顕著に低減する。

ABSTRACT

We provide open-source software implemented in MATLAB, that performs Fourier-Motzkin elimination (FME) and removes constraints that are redundant due to Shannon-type inequalities (STIs). The FME is often used in information theoretic contexts to simplify rate regions, e.g., by eliminating auxiliary rates. Occasionally, however, the procedure becomes cumbersome, which makes an error-free hand-written derivation an elusive task. Some computer software have circumvented this difficulty by exploiting an automated FME process. However, the outputs of such software often include constraints that are inactive due to information theoretic properties. By incorporating the notion of STIs (a class of information inequalities provable via a computer program), our algorithm removes such redundant constraints based on non-negativity properties, chain-rules and probability mass function factorization. This newsletter first illustrates the program's abilities, and then reviews the contribution of STIs to the identification of redundant constraints.

研究の動機と目的

• ネットワーク情報理論における簡略化されたレート領域を導出する際の、手動によるフーリエ＝モツキン削除の計算コストと誤りの原因となる性質に対処すること。
• 補助レートと冗長な制約の削除により、レート領域の表現の複雑さを低減すること。
• 情報理論的性質に起因する冗長な制約を特定・削除できるように、FMEプロセスにシャノン型不等式（STI）を統合すること。
• レート不等式、PMF因数分解の入力と、STI制約を用いた自動簡略化を支援する、ユーザーフレンドリーなGUIベースのツールを提供すること。
• エントロピー制約下での線形計画法に基づく冗長性検出とFMEを組み合わせることで、レート領域簡略化の正確性と効率性を向上させること。

提案手法

• FME-ITソフトウェアは、入力されたレート不等式を行列形式に変換し、レートと結合エントロピーの両方を線形システム内の変数として扱う。
• 指定された補助レートを削除するためにフーリエ＝モツキン削除を適用し、残りの変数に関する簡略化された不等式系を生成する。
• 行列Gによる符号化を通じてシャノン型不等式（STI）を線形制約として組み込み、すべてのエントロピーに基づく不等式が非負であることを保証する。
• マーキング関係とPMF因数分解を、エントロピーが条件付き独立性によって関連付けられる行列Qを用いた等式制約としてモデル化する。
• Lemma 1に基づく修正された線形計画法の定式化を用いて、STIおよびPMF制約集合下で冗長な不等式を同定する。この定式化は等式制約を扱えるように拡張されている。
• Theorem 1を適用して制約付きSTIを検証し、与えられたPMF構造下で有効な不等式のみが最終出力に保持されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 情報理論的文脈において、シャノン型不等式に起因する冗長性を知的かつ自動的に除去することで、フーリエ＝モツキン削除を自動化することは可能か？
• RQ2 マークフ関係およびPMF因数分解は、レート領域簡略化において、どのように線形等式制約として形式的に表現できるか？
• RQ3 単なる代数的冗長性を超えて、線形計画法は情報理論的レート領域における冗長な不等式の検出にどの程度活用可能か？
• RQ4 STI制約をFMEに統合することで、ハン＝コバヤシ内部境界のような複雑なモデルにおいて、不等式の数を顕著に削減できるか？
• RQ5 PMF構造は、FME処理済みのレート領域におけるエントロピーに基づく不等式の冗長性にどのような影響を及ぼすか？

主な発見

• FME-ITソフトウェアは、補助レートの削除と冗長な不等式の除去により、干渉チャネルのハン＝コバヤシ内部境界を効果的に簡略化した。
• 非負性の相互情報量や条件付きエントロピーなど、シャノン型不等式に起因する冗長な制約でさえ、代数的に存在する場合でも、同ソフトウェアはそれらを同定・削除した。
• PMF因数分解制約（例：マークフチェーン）を組み込むことで、特定の確率的構造下でのみ有効な不等式を保持するのを回避した。
• 標準的なFMEでは捉えられないが、情報理論的性質によって意味的に導かれる不等式を削除することで、HK内部境界における不等式数を削減した。
• Theorem 1を用いた制約付きSTIの使用により、与えられたPMF構造下で有効な不等式のみが保持されるため、出力の正しさとコンパクト性が向上した。
• GUIベースの実装により、非専門家でも複雑なレート領域を入力し、手動導出の誤りが生じない情報理論的に妥当な簡略化表現を得られるようになった。