[論文レビュー] Equivalence of Two Proof Techniques for Non-Shannon-type Inequalities

Tarik Kaced|arXiv (Cornell University)|Feb 13, 2013

Computability, Logic, AI Algorithms参考文献 7被引用数 4

ひとこと要約

本論文は、非シャノン型情報不等式を導出する2つの主要な証明技法—Zhang-Yeungのコピーペースト補題とMakarychevらのAhlswede-Körner結果に基づく符号化補題—の同等性を確立する。両技法が、変数の係数の合計がゼロとなる「バランス型不等式」に対しては同等の強さを持つことを証明し、1つの手法で証明可能な任意の不等式が、バランス化を前処理として行うことで他方の手法でも再定式化され、再び証明可能であることを示している。

ABSTRACT

We compare two different techniques for proving non-Shannon-type information inequalities. The first one is the original Zhang-Yeung's method, commonly referred to as the copy/pasting lemma/trick. The copy lemma was used to derive the first conditional and unconditional non-Shannon-type inequalities. The second technique first appeared in Makarychev et al paper [7] and is based on a coding lemma from Ahlswede and Körner works. We first emphasize the importance of balanced inequalities and provide a simpler proof of a theorem of Chan's for the case of Shannon-type inequalities. We compare the power of various proof systems based on a single technique.

研究の動機と目的

• 非シャノン型情報不等式の2大証明技法—Zhang-Yeungのコピーペースト補題とMakarychevらの符号化補題—の相対的な強さを比較すること。
• 各変数の係数の合計がゼロとなる「バランス型不等式」が、2つの証明技法の同等性を可能にする役割を調査すること。
• バランス型不等式に適用された場合、両技法が同等の強さを持つことを示し、それにより理論的基盤を統合すること。
• シャノン型不等式の特別な場合について、Chanのバランス型不等式に関する結果をより単純な証明で再提示すること。
• バランス化を前提とすれば、両技法が相互に交換可能であることを示し、自動情報不等式証明器への統合を支援すること。

提案手法

• 各変数の項全体における係数合計がゼロとなる「バランス型不等式」の概念を導入・形式化する。
• Chanの定理を用いて、任意の有効な情報不等式が、条件付きエントロピー項を引くことで、同等のバランス型不等式に変換可能であることを示す。
• コピー/ペースト補題（ルール ZY）を適用し、コピーによる補助変数の導入によって新たな不等式を導出する。
• Makarychev らの符号化補題（ルール MMRV）を適用し、エントロピーの部分達成可能なベクトルの性質を活用してより強い不等式を導出する。
• 代数的書き換えと係数のバランス化を経て、バランス型不等式においてルール ZY がルール MMRV を模倣可能であり、逆にルール MMRV もルール ZY を模倣可能であることを示す。
• 形式的同等性定理（定理 4）を用いて、両システムの推論能力がバランス化を除いて同等であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 Zhang-Yeungのコピーペースト補題とMakarychev らの符号化補題は、非シャノン型不等式の証明において同等の強さを持つのか？
• RQ2 バランス型不等式が前提とされる場合、1つの技法で証明可能な不等式は、他方の技法でも再定式化され、再び証明可能なのか？
• RQ3 バランス型不等式は、非シャノン型不等式の異なる証明技法の統合において果たす役割は何か？
• RQ4 バランス型不等式に制限した場合、2つの証明システム間に形式的同等性が存在するか？
• RQ5 バランス化が行われるならば、自動情報不等式証明器は、両技法を安全に相互に交換して使用できるのか？

主な発見

• Zhang-Yeungのコピーペースト補題とMakarychev らの符号化補題は、バランス型不等式に適用された場合、形式的に同等の推論能力を持つ。
• 入力不等式が関連する変数についてバランス型である限り、コピーペースト補題（ルール ZY）で証明可能な任意の不等式は、符号化補題（ルール MMRV）を用いて再導出可能である。
• 逆に、符号化補題で証明可能な任意の不等式は、入力不等式をバランス化した後、コピーペースト補題を用いて再導出可能である。
• バランス型不等式は、2つの技法の同等性を達成するために、十分であるだけでなく、必要であることも、同等性定理（定理 4）によって示されている。
• 非シャノン型不等式のバランス型対応は、シャノン型であるとは限らないため、バランス化がシャノン型クラスを超えて証明可能な不等式の範囲を拡張することを示している。
• バランス型不等式は、自動証明器において特に価値があり、元の不等式よりも強力であり、証明技法の切り替えをスムーズに行えるからである。