[論文レビュー] The Porosity of Additive Noise Sequences

Vinith Misra, Tsachy Weissman|arXiv (Cornell University)|May 31, 2012

Algorithms and Data Compression参考文献 3被引用数 5

ひとこと要約

本稿では、フィードバック付きのバイナリ加法的ノイズチャネルにおける個々の決定的ノイズ系列の圧縮可能性を測る指標として「多孔性（porosity）」の概念を導入する。この研究では、このようなチャネルの容量がノイズ系列のLempel-Ziv圧縮可能性の補数に等しくなることを確立し、任意のノイズ系列に対してそのレートを達成するユニバーサル符号化方式を提示する。これにより、ユニバーサルソース符号化とチャネル符号化の双対性が拡張される。

ABSTRACT

Consider a binary additive noise channel with noiseless feedback. When the noise is a stationary and ergodic process $\mathbf{Z}$, the capacity is $1-\mathbb{H}(\mathbf{Z})$ ($\mathbb{H}(\cdot)$ denoting the entropy rate). It is shown analogously that when the noise is a deterministic sequence $z^\infty$, the capacity under finite-state encoding and decoding is $1-\barρ(z^\infty)$, where $\barρ(\cdot)$ is Lempel and Ziv's finite-state compressibility. This quantity is termed the \emph{porosity} $\underlineσ(\cdot)$ of an individual noise sequence. A sequence of schemes are presented that universally achieve porosity for any noise sequence. These converse and achievability results may be interpreted both as a channel-coding counterpart to Ziv and Lempel's work in universal source coding, as well as an extension to the work by Lomnitz and Feder and Shayevitz and Feder on communication across modulo-additive channels. Additionally, a slightly more practical architecture is suggested that draws a connection with finite-state predictability, as introduced by Feder, Gutman, and Merhav.

研究の動機と目的

• 確率的モデルではなく個々のノイズ系列を決定的とみなすことにより、ユニバーサル符号化理論をソース符号化からチャネル符号化へと拡張すること。
• 有限状態の符号化および復号化制約下での個々のノイズ系列に対するチャネル容量の測定方法を定義すること。
• その構造に関する事前知識がなくても、任意の決定的ノイズ系列に対して理論的容量に到達するユニバーサル符号化方式を開発すること。
• フィードバック下でのLempel-Zivソース符号化とチャネル符号化の双対性を確立し、シャノン理論における双対性を模倣すること。

提案手法

• 決定的ノイズ系列 z∞ のLempel-Ziv有限状態圧縮可能性の補数として、多孔性測度 σ̲(z∞) を提案する。
• ノイズレスフィードバックを用いて、観測されたノイズ系列に応じて動的に応答する適応符号化および復号化を可能にする。
• 任意の個々のノイズ系列 z∞ に対して多孔性レート 1−σ̲(z∞) を達成するユニバーサル符号化方式の系列を設計する。
• 自明な解を防ぐために、符号器および復号器の両方に有限状態制約を適用し、実装可能性を保証する。
• 圧縮可能性の側面とチャネル符号化の実現可能レートの類似性を活用し、ソース符号化とチャネル符号化の双対性を活用する。
• Feder, Gutman, および Merhav が定義する有限状態予測可能性と多孔性を結びつける実用的アーキテクチャを導入し、実装可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ユニバーサルソース符号化とユニバーサルチャネル符号化の双対性を、確率的モデルではなく個々の決定的系列にまで拡張できるか？
• RQ2 ノイズが固定された決定的系列であり、フィードバックが利用可能な場合、バイナリ加法的ノイズチャネルの根本的容量限界は何か？
• RQ3 その構造に関する事前知識がなくても、任意の個々のノイズ系列に対して最適レートを達成するユニバーサル符号化方式をどのように設計できるか？
• RQ4 有限状態符号化および復号化は、決定的ノイズ系列に対して非自明な通信レートを可能にする上で果たす役割は何か？
• RQ5 Lempel-Zivソース符号化における圧縮可能性の概念と、フィードバック下でのチャネル符号化における実現可能レートの関係は何か？

主な発見

• 決定的ノイズ系列 z∞ とノイズレスフィードバックを有するバイナリ加法的ノイズチャネルの容量は、1−σ̲(z∞) に等しく、ここで σ̲(z∞) は系列のLempel-Ziv圧縮可能性である。
• ノイズ系列の事前知識がなくても、任意の個々のノイズ系列に対して多孔性レート 1−σ̲(z∞) を達成するユニバーサル符号化方式の系列が構築された。
• 逆方向の結果により、有限状態の符号器・復号器ペアが 1−σ̲(z∞) を超えるレートを達成することは不可能であり、境界のタイトさが示された。
• 提案された枠組みにより、フィードバック下でのユニバーサルソース符号化（Lempel-Ziv）とユニバーサルチャネル符号化の正式な双対性が確立され、古典的シャノン理論的双対性が拡張された。
• 多孔性と有限状態予測可能性を結びつける実用的符号化アーキテクチャが提案され、フィードバックを用いた実現可能な実装が可能になった。
• 解析により、フィードバックの使用が、符号器と復号器が特定のノイズ系列に適応可能にすることで、非自明なユニバーサル通信を可能にすることが確認された。