[論文レビュー] Hash Property and Coding Theorems for Sparse Matrices and Maximum-Likelihood Coding

Jun Muramatsu, Shigeki Miyake|arXiv (Cornell University)|Jan 25, 2008

Cooperative Communication and Network Coding参考文献 39被引用数 5

ひとこと要約

本稿は、$q$-値スパース行列のアンサンブルに対して 'ハッシュ性質' を導入し、最大尤度（ML）デコードを用いる場合、Slepian-Wolf、Gel'fand-Pinsker、Wyner-Ziv、One-helps-one といった基本的な符号化問題において最適レートを達成することを証明する。主な貢献は、列の重みがブロック長に対して対数的に増加するスパース行列で十分であり、これにより従来の構成が単純化され、一般の $q$-値および非対称設定への拡張が可能になることである。

ABSTRACT

The aim of this paper is to prove the achievability of several coding problems by using sparse matrices (the maximum column weight grows logarithmically in the block length) and maximal-likelihood (ML) coding. These problems are the Slepian-Wolf problem, the Gel'fand-Pinsker problem, the Wyner-Ziv problem, and the One-helps-one problem (source coding with partial side information at the decoder). To this end, the notion of a hash property for an ensemble of functions is introduced and it is proved that an ensemble of $q$-ary sparse matrices satisfies the hash property. Based on this property, it is proved that the rate of codes using sparse matrices and maximal-likelihood (ML) coding can achieve the optimal rate.

研究の動機と目的

• スパース行列とML符号化を用いて、ネットワーク情報理論問題における達成可能性を示す一般枠組みを確立すること。
• 最適レート達成の十分条件としての 'ハッシュ性質' を導入し、形式化すること。
• $q$-値スパース行列アンサンブルがハッシュ性質を満たすことを証明し、複数の符号化問題において最適性能を達成できることを示すこと。
• 従来の二値または対称ケースに限られていた結果を、一般の $q$-値および非対称チャネル/ソースへと拡張すること。
• 定数列重みを必要とせず、列重みが対数的に増加するスパース行列で最適レートが達成されることを示すことにより、既存の証明を単純化すること。

提案手法

• 関数のアンサンブルに対する 'ハッシュ性質' の概念を導入し、ユニバーサルハッシュ関数やランダムバインニングを一般化すること。
• ブロック長に対して対数的に増加する最大列重みを有する $q$-値スパース行列アンサンブルがハッシュ性質を満たすことを証明すること。
• ハッシュ性質を用いて、Slepian-Wolf、Gel'fand-Pinsker、Wyner-Ziv、One-helps-one問題における最適レートの達成可能性を確立すること。
• 大偏差バウンドと典型集合の議論（補題22〜27を用いて）を用いて、誤り確率および典型系列確率を制御すること。
• 発散バウンド（例：$D( u_{oldsymbol{u}|oldsymbol{v}}\rVert\theta_{U|V}|\nu_{\boldsymbol{v}})$）を介して典型集合とエントロピーの関係を確立し、実測分布を真のエントロピーに関連付けること。
• 典型系列に対して $\frac{1}{n}\log \frac{1}{\mu_{U|V}(\boldsymbol{u}|\boldsymbol{v})} \approx H(U|V)$ が成り立つことを利用して、レートバウンドを導出すること。

実験結果

リサーチクエスチョン

• RQ1 列重みがブロック長に対して対数的に増加するスパース行列は、MLデコードを用いたネットワーク符号化問題において最適レートを達成できるか？
• RQ2 導入された 'ハッシュ性質' は、ソース符号化およびチャネル符号化定理における達成可能性の十分条件として機能するか？
• RQ3 このフレームワークは、二値および対称ケースに限らず、一般の $q$-値および非対称設定へと拡張可能か？
• RQ4 定数列重みを持つ従来の構成と比較して、スパース行列ベースの符号の性能はどのように異なるか？
• RQ5 同じフレームワークを、歪み付きソース符号化および側情報付きチャネル符号化に適用可能か？

主な発見

• ブロック長に対して対数的に増加する最大列重みを有する $q$-値スパース行列アンサンブルは、ハッシュ性質を満たす。
• このようなスパース行列とMLデコードに基づく符号のレートは、Slepian-Wolf問題において最適レートを達成する。
• この構成は、$q$-値および非対称ケースにおけるGel'fand-Pinsker問題において最適レートを達成し、従来の二値および対称結果を拡張する。
• 一般の $q$-値、偏りのあるソースおよび加法的でない側情報を持つWyner-Ziv問題に対しても、最適レートを達成する。
• 特に、コセットコードやLDGM行列に基づく従来の構成とは異なり、複雑なコードブック生成を回避することで、証明手法が単純化される。
• このフレームワークにより、スパース行列とMLデコードを用いた加法的（対称）ノイズチャネルにおけるチャネル符号化定理の新たな証明が得られる。