[論文レビュー] Polarization of the R\'enyi Information Dimension for Single and Multi Terminal Analog Compression

Saeid Haghighatshoar, Emmanuel Abbé|arXiv (Cornell University)|Jan 27, 2013

Wireless Communication Security Techniques被引用数 6

ひとこと要約

この論文は、i.i.d. 混合確率変数がハダマード行列によって変換されたとき、リーニー情報次元（RID）が 0 または 1 に極性化することを示しており、これは有限体上のエントロピー極性化と類似している。RID 極性化と BEC（二値消去通信路）極性化の間には同等性が確立されており、これにより、単一および相関のある信号のアナログ・トゥ・アナログ（A2A）圧縮に普遍的かつ決定論的な部分ハダマード行列を適用可能にしている。これは、スレピアン＝ウルフ符号化の最初のアナログ的同等物である。

ABSTRACT

This paper shows that the R\'enyi information dimension (RID) of an i.i.d. sequence of mixture random variables polarizes to the extremal values of 0 and 1 (fully discrete and continuous distributions) when transformed by an Hadamard matrix. This provides a natural counter-part over the reals of the entropy polarization phenomenon over finite fields. It is further shown that the polarization pattern of the RID is equivalent to the BEC polarization pattern, which admits a closed form expression. These results are used to construct universal and deterministic partial Hadamard matrices for analog to analog (A2A) compression of random i.i.d. signals. In addition, a framework for the A2A compression of multiple correlated signals is developed, providing a first counter-part of the Slepian-Wolf coding problem in the A2A setting.

研究の動機と目的

• 有限体からのエントロピー極性化の概念を、連続値信号へと拡張すること。
• RID 極性化を用いた i.i.d. 信号のアナログ・トゥ・アナログ（A2A）圧縮の理論的基盤を確立すること。
• A2A 圧縮に適した普遍的かつ決定論的な部分ハダマード行列の構築法を開発すること。
• 複数の相関する信号へとフレームワークを拡張し、スレピアン＝ウルフ符号化問題のアナログ的同等物を提供すること。

提案手法

• i.i.d. 混合確率変数を完全なハダマード行列で変換し、RID 極性化が 0 または 1 側に集中することを誘導する。
• RID の極性化パターンが二値消去通信路（BEC）のそれと一致することを証明し、閉形式での解析を可能にする。
• 極性化挙動に基づいて部分ハダマード行列を構築し、入力分布の事前知識が不要な普遍的かつ決定論的な圧縮性能を保証する。
• BEC 同値性を活用して、入力分布の知識がなくても決定論的な構成を可能にする。
• 単一ソースの極性化原理を相関するソースへと拡張することで、マルチエンドポイント A2A 圧縮フレームワークを設計する。
• RID と BEC の双対性を活用し、単一およびマルチエンドポイント設定の両方において、効率的で普遍的な符号化および復号化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 混合確率変数のリーニー情報次元（RID）は、ハダマード変換によって極値に極性化することができるか？
• RQ2 RID の極性化パターンは、二値消去通信路（BEC）のそれと同等であるか？
• RQ3 RID 極性化を用いて、A2A 圧縮に適した普遍的かつ決定論的な部分ハダマード行列を構築できるか？
• RQ4 単一ソース A2A 圧縮フレームワークは、複数の相関する信号へとどのように拡張できるか？
• RQ5 このフレームワークは、連続領域におけるスレピアン＝ウルフ符号化問題の有効なアナログ的同等物を提供するか？

主な発見

• i.i.d. 混合確率変数のリーニー情報次元（RID）は、ハダマード変換によって 0 または 1 に極性化し、完全に離散的から完全に連続的へと移行する傾向を示している。
• RID の極性化パターンは、数学的に二値消去通信路（BEC）のそれと同等であり、閉形式での特徴付けが可能である。
• RID 極性化挙動に基づいて、入力分布の事前知識が不要な普遍的かつ決定論的な部分ハダマード行列を構築可能であり、これにより効率的な A2A 圧縮が実現される。
• フレームワークは複数の相関する信号へと一般化され、A2A 環境におけるスレピアン＝ウルフ符号化問題の最初のアナログ的同等物が確立された。
• BEC 同値性により、単一およびマルチエンドポイント A2A 圧縮システムの両方において、解析的取り扱いやすさと性能保証が可能になった。