[論文レビュー] A unified approach to source and message compression

Anurag Anshu, Rahul Jain+1 more|arXiv (Cornell University)|Jul 12, 2017

Wireless Communication Security Techniques参考文献 43被引用数 7

ひとこと要約

本稿では、凸分割と位置に基づく復号技術を用いて、1対1およびマルチパーティ通信設定におけるソースおよびメッセージ圧縮の統一的1回限りフレームワークを提示する。滑らかさ最大発散と仮説検定発散に基づくタイトな境界を導出し、既知のi.i.d.結果を回復するとともに、逆方向境界を用いて、側情報付きメッセージ圧縮の近似的最適性を証明する。

ABSTRACT

We study the problem of source and message compression in the one-shot setting for the point-to-point and multi-party scenarios (with and without side information). We derive achievability results for these tasks in a unified manner, using the techniques of convex-split, which was introduced in [Anshu,Devabathini and Jain 2014] and position-based decoding introduced in [Anshu, Jain and Warsi 2017], which in turn uses hypothesis testing between distributions. These results are in terms of smooth max divergence and smooth hypothesis testing divergence. As a by-product of the tasks studied in this work, we obtain several known source compression results (originally studied in the asymptotic and i.i.d. setting) in the one-shot case. One of our achievability results includes the problem of message compression with side information, originally studied in [Braverman and Rao 2011]. We show that both our result and the result in [Braverman and Rao 2011] are near optimal in the one-shot setting by proving a converse bound.

研究の動機と目的

• 1対1およびマルチパーティ通信設定における1回限りのソースおよびメッセージ圧縮の統一的フレームワークの開発。
• 情報理論的ツールを用いて、既知の漸近的およびi.i.d.圧縮結果を1回限りの領域に拡張すること。
• 側情報付きメッセージ圧縮のタイトな達成可能境界の提供、特に近似的最適性を確立するための逆方向境界の導出。
• フレームワークの強力さを示すために、ネットワーク通信理論におけるいくつかの既知の結果を回復すること。

提案手法

• 著者らは、凸分割技術を用いて、ターゲットの積分布に近い分布を構築し、滑らかさ最大発散を介して統計的近接性を保証する。
• 位置に基づく復号が採用され、誤差を制御しながら、分布間の仮説検定に基づいてメッセージを復号する。
• フレームワークは、凸分割と位置に基づく復号を組み合わせ、滑らかさ仮説検定発散に基づく達成可能境界を導出する。
• 重要な技術的要素として、メッセージと側情報を同時にモデル化するための確率変数の拡張が用いられ、よりタイトな解析を可能にする。
• 情報スペクトラム発散、特に $\mathrm{D}_s^\varepsilon$ および $\mathrm{D}_\mathrm{H}^\varepsilon$ を活用して、通信コストと誤差のトレードオフを定量化する。
• 通信量の下界を求めるために、分布間のカップリングを構築し、仮説検定を用いて逆方向境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 1対1およびマルチパーティ設定における1回限りのソースおよびメッセージ圧縮を統一する1つのフレームワークが可能か？
• RQ2 滑らかさ最大発散と仮説検定発散は、1回限り圧縮における通信コストをどのように特徴づけるか？
• RQ3 既知のi.i.d.圧縮結果が1回限りの領域において回復され、強化可能か？
• RQ4 提案された側情報付きメッセージ圧縮プロトコルは近似的に最適か？
• RQ5 凸分割と位置に基づく復号は、タイトな境界を構築する上で果たす役割は何か？

主な発見

• 本稿では、滑らかさ仮説検定発散を用いて、1回限りの設定における側情報付きメッセージ圧縮の達成可能境界を確立する。
• 仮説検定と分布カップリングを用いて、逆方向境界を証明することで、提案された境界が近似的に最適であることが示される。
• フレームワークは、漸近的i.i.d.設定からの既知の結果を特別な場合として回復し、その一般性を示す。
• 重要な技術的結果として、$\mathrm{D}_s^\varepsilon(p_{XMY}\|p_Y(p_{X|Y} \times p_{N|Y})) \geq \mathrm{D}_s^0(p_{XME}\|p_X \times p_U) - \mathrm{D}_\mathrm{H}^\varepsilon(p_{YME}\|p_Y \times p_U)$ が示され、メッセージと側情報の複雑さを結びつける。
• 凸分割と位置に基づく復号の使用により、複数のネットワークトポロジーにおけるソースおよびメッセージ圧縮の統一的取り扱いが可能になる。
• フレームワークは、2送信者および2受信者を含むマルチパーティ状況に自然に拡張可能であり、より広範なネットワーク応用が見込まれる。