[論文レビュー] Outer Bounds for Multiterminal Source Coding via a Strong Data Processing Inequality

Thomas A. Courtade|arXiv (Cornell University)|Feb 14, 2013

Wireless Communication Security Techniques被引用数 8

ひとこと要約

本稿は、相関尺度 $ s^* $ を用いて補助確率変数を避けることで、強いデータ処理不等式を用いたマルチターミナル情報源符号化問題の新たな外挙動を導入する。主な貢献は、個々のレート-歪み関数と $ s^*(X;Y) $、$ s^*(Y;X) $ を結合する和レート外挙動であり、一般の情報源および歪み尺度に適用可能なタイトでパrameter自由な境界を提供する。

ABSTRACT

An intuitive outer bound for the multiterminal source coding problem is given. The proposed bound explicitly couples the rate distortion functions for each source and correlation measures which derive from a "strong" data processing inequality. Unlike many standard outer bounds, the proposed bound is not parameterized by a continuous family of auxiliary random variables, but instead only requires maximizing two ratios of divergences which do not depend on the distortion functions under consideration.

研究の動機と目的

• 補助確率変数を必要としない一般でパrameter自由なマルチターミナル情報源符号化問題の外挙動を構築すること。
• 強いデータ処理不等式の適用範囲をガウス設定にとどまらずマルチターミナル情報源符号化に拡張すること。
• $ s^*(X;Y) $ を用いた一元的な枠組みを提供し、和レート外挙動を導出する。$ s^*(X;Y) $ は相対エントロピーから導かれる相関の尺度である。
• 既知の逆問題結果に依存しない、タイトで直感的な外挙動を提供し、個々のレートと和レート制約のトレードオフを捉えること。

提案手法

• 強いデータ処理不等式（SDPI）を用いて、源とその圧縮表現間の相互情報量を関連付ける。
• 定義 $ s^*(X;Y) = \sup_{Q_X \neq P_X} \frac{D(Q_Y \| P_Y)}{D(Q_X \| P_X)} $ を導入し、$ Q_Y $ は $ Q_X P_{Y|X} $ の下での出力周辺分布を表す。この量は相関の強さを定量化する。
• 源系列とその圧縮版の結合分布にSDPIを適用し、i.i.d.系列における $ s^* $ のテンソル化を活用して外挙動を導出する。
• 境界は $ \sum_{i} s^*(Y_i; X) R_i \geq \mathbb{R}_X(D_X) $ として表現され、個々のレートとレート-歪み関数を結びつける。
• 単一化を避けるために、直接 $ s^* $ 推定に依存する方法を採用し、補助変数を必要としない境界を可能にする。
• 別証明では、相互情報量項の凸性を用いた議論により、外挙動の導出を完了する。

実験結果

リサーチクエスチョン

• RQ1 強いデータ処理不等式を用いて、マルチターミナル情報源符号化のパrameter自由な外挙動を導出可能か？
• RQ2 源間の相関を、レート-歪みトレードオフに直接関連付ける方法で定量化可能か？
• RQ3 補助確率変数や単一化表現に依存せずに、和レート外挙動を導出可能か？
• RQ4 $ s^*(X;Y) $ は分散情報源符号化の根本的限界をどのように捉えているか？
• RQ5 提案された境界は、協力的下界やBerger-Tung領域といった既知の境界と比べてどうか？

主な発見

• 提案された外挙動はパrameter自由であり、$ s^*(X;Y) $ と $ s^*(Y;X) $ のみに依存し、補助確率変数を避ける。
• ガウス源の場合、既知の和レート制約を回復し、特に $ \rho $ が小さいときタイトな近似を与える。
• この方法により、任意の情報源に一般化された低解像度近似 $ R_X + \rho^2 R_Y \geq \frac{1}{2}\log(1/D_X) $ が $ s^* $ を用いて拡張される。
• CEO問題に対しても有効な外挙動が得られる：$ \sum_{i=1}^k s^*(Y_i; X) R_i \geq \mathbb{R}_X(D_X) $。
• 単一化を避けて、チョウの共通ランダムネス容量境界の別証明が得られ、$ \frac{C(R)}{R} \leq \frac{1}{1 - s^*(X;Y)} $ を示す。
• 境界はタイトであり、特に $ s^* $ が小さいとき、圧縮レートと源の相関の根本的トレードオフを捉えている。