[論文レビュー] Maximum Entropy Functions: Approximate Gacs-Korner for Distributed Compression

Salman Salamatian, Asaf Cohen+1 more|arXiv (Cornell University)|Apr 13, 2016

Wireless Communication Security Techniques参考文献 11被引用数 5

ひとこと要約

本稿では、Gács-Körner共通情報の近似に最大エントロピー関数を用いた分散圧縮方式を提案する。これにより、相関する情報源を共通部と固有部に分解することで、効率的なソース符号化が可能になる。厳密な組み合わせ的条件を緩和するために補助ノードを導入することで、補助ノードのレートとソースのレート削減の間でトレードオフを実現し、スペクトルグラフ理論を用いて最適化された近似Gács-Körner問題と、最大相関係数に結びつける。

ABSTRACT

Consider two correlated sources $X$ and $Y$ generated from a joint distribution $p_{X,Y}$. Their Gács-Körner Common Information, a measure of common information that exploits the combinatorial structure of the distribution $p_{X,Y}$, leads to a source decomposition that exhibits the latent common parts in $X$ and $Y$. Using this source decomposition we construct an efficient distributed compression scheme, which can be efficiently used in the network setting as well. Then, we relax the combinatorial conditions on the source distribution, which results in an efficient scheme with a helper node, which can be thought of as a front-end cache. This relaxation leads to an inherent trade-off between the rate of the helper and the rate reduction at the sources, which we capture by a notion of optimal decomposition. We formulate this as an approximate Gács-Körner optimization. We then discuss properties of this optimization, and provide connections with the maximal correlation coefficient, as well as an efficient algorithm, both through the application of spectral graph theory to the induced bipartite graph of $p_{X,Y}$.

研究の動機と目的

• 相関する情報源 X と Y の組み合わせ的構造を活用する効率的な分散圧縮方式の開発。
• Gács-Körner共通情報の厳密な一致条件を補助ノードの導入により緩和し、より広範な適用可能性を実現すること。
• 最適な分解フレームワークを通じて、補助ノードレートとソースレート削減の間のレートトレードオフを形式化すること。
• 最適化問題をスペクトルグラフ理論と最大相関係数に結びつけ、計算を効率化すること。
• 特異ベクトルのしきい値処理を用いた実用的で低複雑度のソース分解アルゴリズムの提供。

提案手法

• X と Y を共通部に写像する関数 φX と φY を用いて、Gács-Körner共通情報の緩和版を定式化する。
• φX と φY の不一致を補うために補助ノードを導入し、正確な一致が不可能であってもレート削減を可能にする。
• 補助ノードレートとソースレート削減のバランスを取る最適化問題を関数の上での最適化として定式化する。
• pX,Y の二部グラフ表現における正規化ラプラシアン行列を用いて、最大相関係数に関連するスペクトル特性を導出する。
• 正規化ラプラシアン行列の2番目に小さい固有値 ν を用い、ν = 1 − ρ²m(X;Y) により最大相関係数を推定する。
• Q = D⁻¹/²PX,YD⁻¹/² の左および右特異ベクトルに対してしきい値処理を適用し、二値関数 φX と φY を計算する。

実験結果

リサーチクエスチョン

• RQ1 Gács-Körner共通情報の厳密な組み合わせ的条件を、分散圧縮におけるより広範な応用を可能にするためにどのように緩和できるか？
• RQ2 補助ノードのレートとソースで達成されるレート削減の最適なトレードオフは何か？
• RQ3 スペクトルグラフ理論を用いて、相関する情報源の最適分解を効率的に近似できるか？
• RQ4 最大相関係数は、pX,Y の二部グラフの混合度およびスペクトル特性とどのように関連するか？
• RQ5 特異ベクトルのしきい値処理は、最適分解の実用的かつ効果的な近似をどの程度達成できるか？

主な発見

• 正規化ラプラシアン行列の2番目に小さい固有値 ν は、ν = 1 − ρ²m(X;Y) を満たし、スペクトルグラフ理論と最大相関係数を結びつける。
• 同時分布が非連結成分を持つ場合、最大相関係数 ρm(X;Y) は 1 に等しくなり、Gács-Körner共通情報 H(K) は非ゼロとなる。
• Gács-Körner共通情報の大きさは、H(K) ≤ log(m) で有界であり、m は Q の特異値 1 の重複度を表す。
• 提案された特異ベクトルのしきい値処理アルゴリズムは、非連結成分が存在する場合に二部グラフ内のそれらを効果的に同定する。
• ソースを共通部と固有部に分解することで、本手法は分散圧縮におけるレート削減を達成し、補助ノードが不一致を補完する。
• 最適化フレームワークにより、補助ノードレートとソースレート削減の間のトレードオフが明らかになり、近似Gács-Körner問題として形式化される。