[论文解读] Equivalence of Two Proof Techniques for Non-Shannon-type Inequalities

Tarik Kaced|arXiv (Cornell University)|Feb 13, 2013

Computability, Logic, AI Algorithms参考文献 7被引用 4

一句话总结

本文建立了两种推导非Shannon型信息不等式的主要证明技术之间的等价性：Zhang-Yeung的复制/粘贴引理与Makarychev等人基于Ahlswede-Körner结果的编码引理。研究证明，当应用于平衡不等式（即每个变量的系数之和为零的不等式）时，这两种技术具有同等的证明能力，表明任何可通过一种方法证明的不等式，只要在预处理阶段使用平衡化处理，即可重新表述并用另一种方法证明。

ABSTRACT

We compare two different techniques for proving non-Shannon-type information inequalities. The first one is the original Zhang-Yeung's method, commonly referred to as the copy/pasting lemma/trick. The copy lemma was used to derive the first conditional and unconditional non-Shannon-type inequalities. The second technique first appeared in Makarychev et al paper [7] and is based on a coding lemma from Ahlswede and Körner works. We first emphasize the importance of balanced inequalities and provide a simpler proof of a theorem of Chan's for the case of Shannon-type inequalities. We compare the power of various proof systems based on a single technique.

研究动机与目标

• 比较两种主流非Shannon型信息不等式证明技术的相对能力：Zhang-Yeung的复制/粘贴引理与Makarychev等人基于编码的引理。
• 研究平衡不等式（即每个变量的系数之和为零）在统一两种证明技术中的作用。
• 证明当应用于平衡不等式时，两种技术具有同等的证明能力，从而统一其理论基础。
• 为Chan关于平衡不等式的结论提供一个更简单的证明，特别针对Shannon型不等式的特殊情况。
• 通过证明两种技术在平衡条件下的可互换性，支持将两者整合进自动化信息不等式证明器。

提出的方法

• 引入并形式化了平衡不等式的概念，即在所有项中，每个变量的总系数之和为零。
• 利用Chan定理表明，任何有效的信息不等式均可通过减去条件熵项转化为等价的平衡不等式。
• 应用复制/粘贴引理（规则ZY）通过复制引入辅助变量来推导新不等式。
• 应用Makarychev等人提出的编码引理（规则MMRV），该引理利用熵可实现向量的性质来推导更强的不等式。
• 证明在处理平衡不等式时，规则ZY可通过代数重写与系数平衡模拟规则MMRV，反之亦然。
• 通过形式化的等价定理（定理4）建立两种系统在模平衡意义下的推理能力等价性。

实验结果

研究问题

• RQ1 Zhang-Yeung的复制/粘贴引理与Makarychev等人编码引理在证明非Shannon型不等式时是否具有同等能力？
• RQ2 在假设使用平衡不等式的情况下，是否每一个可通过一种技术证明的不等式都能被重新表述并用另一种技术证明？
• RQ3 平衡不等式在统一非Shannon型不等式不同证明技术中起什么作用？
• RQ4 当限制在平衡不等式时，两种证明系统之间是否存在形式等价性？
• RQ5 如果在预处理中应用了平衡化，自动化信息不等式证明器是否可以安全地互换使用任一技术？

主要发现

• 在应用于平衡不等式时，Zhang-Yeung的复制/粘贴引理与Makarychev等人编码引理在推理能力上具有形式等价性。
• 只要输入不等式对相关变量是平衡的，任何可通过复制/粘贴引理（规则ZY）证明的不等式，均可通过编码引理（规则MMRV）重新推导。
• 反之，任何可通过编码引理证明的不等式，在对输入不等式进行平衡化后，也可通过复制/粘贴引理重新推导。
• 平衡不等式不仅是实现两种技术等价性的充分条件，也是必要条件，如等价定理（定理4）所示。
• 非Shannon型不等式的平衡对应式不一定是Shannon型，表明平衡化将可证明不等式的范围扩展到了Shannon型之外。
• 平衡不等式在自动化证明器中尤为有用，因为它们比未平衡的对应式更强，并且允许在不同证明技术间无缝切换。