[论文解读] Fourier-Motzkin Elimination Software for Information Theoretic Inequalities

Ido B. Gattegno, Ziv Goldfeld+1 more|arXiv (Cornell University)|Oct 13, 2016

Wireless Communication Security Techniques参考文献 6被引用 20

一句话总结

本文提出 FME-IT，一款开源 MATLAB 软件，可自动化信息论速率区域的傅里叶-莫茨金消去法（FME），并通过香农型不等式（STIs）去除冗余。通过将线性规划与基于马尔可夫关系和熵分解的 STI 约束相结合，该工具通过消除辅助速率和无效不等式，显著降低了网络信息论中手动推导的复杂度。

ABSTRACT

We provide open-source software implemented in MATLAB, that performs Fourier-Motzkin elimination (FME) and removes constraints that are redundant due to Shannon-type inequalities (STIs). The FME is often used in information theoretic contexts to simplify rate regions, e.g., by eliminating auxiliary rates. Occasionally, however, the procedure becomes cumbersome, which makes an error-free hand-written derivation an elusive task. Some computer software have circumvented this difficulty by exploiting an automated FME process. However, the outputs of such software often include constraints that are inactive due to information theoretic properties. By incorporating the notion of STIs (a class of information inequalities provable via a computer program), our algorithm removes such redundant constraints based on non-negativity properties, chain-rules and probability mass function factorization. This newsletter first illustrates the program's abilities, and then reviews the contribution of STIs to the identification of redundant constraints.

研究动机与目标

• 解决在推导网络信息论中简化速率区域时，手动执行傅里叶-莫茨金消去法所面临的计算复杂性和易错性问题。
• 通过消除辅助速率和冗余约束，降低速率区域表达式的复杂度。
• 将香农型不等式（STIs）整合到 FME 过程中，以识别并移除因信息论性质而产生的冗余约束。
• 提供一个用户友好的图形界面（GUI）工具，支持输入速率不等式、PMF 因子分解，并利用 STI 约束实现自动简化。
• 通过结合 FME 与基于线性规划的熵约束下冗余检测，提升速率区域简化的准确性与效率。

提出的方法

• FME-IT 软件将输入的速率不等式转换为矩阵形式，将速率和联合熵均视为线性系统中的变量。
• 应用傅里叶-莫茨金消去法以消除指定的辅助速率，生成剩余变量上的简化不等式系统。
• 通过矩阵 G 将香农型不等式（STIs）编码为线性约束，确保所有基于熵的不等式非负。
• 利用矩阵 Q 将底层信道模型中的马尔可夫关系和 PMF 因子分解建模为等式约束，通过条件独立性关联熵。
• 基于引理 1 的改进线性规划公式，结合 STI 和 PMF 约束集，识别冗余不等式，扩展以处理等式约束。
• 应用定理 1 验证受约束的 STIs，确保仅在给定 PMF 结构下有效的不等式保留在最终输出中。

实验结果

研究问题

• RQ1 傅里叶-莫茨金消去法能否在信息论中实现自动化，并通过香农型不等式智能去除冗余？
• RQ2 马尔可夫关系和 PMF 因子分解在速率区域简化中如何形式化地编码为线性等式约束？
• RQ3 线性规划在信息论速率区域中，除代数冗余外，能在多大程度上用于检测冗余不等式？
• RQ4 将 STI 约束整合到 FME 中，能否显著减少速率区域中的不等式数量，尤其是在汉-小林内界等复杂模型中？
• RQ5 PMF 结构对 FME 处理后的速率区域中基于熵的不等式的冗余性有何影响？

主要发现

• FME-IT 软件成功通过消除辅助速率和冗余不等式，简化了干扰信道的汉-小林内界。
• 该工具识别并移除了因香农型不等式（如互信息和条件熵的非负性）而产生的冗余约束，即使这些约束在代数上存在。
• 通过引入 PMF 因子分解约束（如马尔可夫链），该算法避免保留仅在特定概率结构下成立的不等式。
• 该方法通过消除标准 FME 无法捕获但由信息论性质隐含的冗余不等式，减少了 HK 内界中的不等式数量。
• 该软件通过定理 1 使用受约束的 STIs，确保仅在给定 PMF 结构下有效的不等式被保留，从而提高了输出的正确性和紧凑性。
• 基于 GUI 的实现使非专家能够输入复杂的速率区域，并获得无需手动推导错误的信息论有效简化表达式。