[論文レビュー] Single-Letter Characterization of Epsilon-Capacity for Mixed Memoryless Channels

Hideki Yagi, Ryo Nomura|arXiv (Cornell University)|Jul 1, 2014

Advanced Memory and Neural Computing被引用数 3

ひとこと要約

本稿は、有限入力アルファベットと一般出力アルファベットをもつ、高々可算個の定常的で記憶のないチャンネルから構成される混合記憶なしチャンネルについて、制約なしおよびコスト制約付きの両設定において、ε容量の最初の1文字表記を提供する。この表記は、ε = 0 のときアールスウェーゲのチャンネル容量公式に簡約され、ポリャンスキー、プア、ヴェルジュの特定化されたメタ逆問題境界と情報スペクトル法を組み合わせて証明されている。

ABSTRACT

For the class of mixed channels decomposed into stationary memoryless channels, single-letter characterizations of the $\varepsilon$-capacity have not been known except for restricted classes of channels such as the regular decomposable channel introduced by Winkelbauer. This paper gives single-letter characterizations of $\varepsilon$-capacity for mixed channels decomposed into at most countably many memoryless channels with a finite input alphabet and a general output alphabet with/without cost constraints. It is shown that a given characterization reduces to the one for the channel capacity given by Ahlswede when $\varepsilon$ is zero. In the proof of the coding theorem, the meta converse bound, originally given by Polyanskiy, Poor and Verdú, is particularized for the mixed channel decomposed into general component channels.

研究の動機と目的

• 情報理論における長年の空白を埋めるために、混合記憶なしチャンネルのε容量の1文字表記を提供すること。
• ウィンケルバウアーが研究した制限付きクラスの正則分解可能チャンネルを超えて、既知の結果を拡張すること。
• ブロック長 n における極限操作を回避する、厳密で計算可能なε容量の表現を確立すること。
• 混合チャンネルのε容量表記にコスト制約を組み込むこと。
• メタ逆問題境界と情報スペクトル法を用いた符号化定理を通じて、表記を検証すること。

提案手法

• 情報スペクトル法と混合チャンネルの特定化されたメタ逆問題境界を用いて、1文字表記のε容量を導出する。
• 仮説検定におけるαとβの双対性を適用し、αβ関数を用いて誤り確率を評価する。
• 最大尤度デコーダの誤り確率を下界として用い、達成可能なレートに対する逆問題境界を導出する。
• 成分チャンネルの混合を重み{wℓ}を用いて定義し、全体の混合チャンネルの挙動をモデル化する。
• チェビシェフの不等式に基づく集中性の議論を用いて、チャンネル出力の対数尤度比の逸脱を制御する。
• 任意のレートが提案された式を超過するコードは、ε誤り制約に反する、という逆問題を示すことによって、逆問題を確立する。

実験結果

リサーチクエスチョン

• RQ1 有限入力アルファベットと一般出力アルファベットをもつ混合記憶なしチャンネルについて、正則分解可能チャンネルのような制限付きクラスを超えて、ε容量の1文字表記を導出可能か？
• RQ2 提案された1文字表記は、ε = 0 のときアールスウェーゲのチャンネル容量公式に簡約されるか？
• RQ3 メタ逆問題境界をどのように変形・適用することで、混合チャンネルに対してタイトな逆問題境界を確立できるか？
• RQ4 コスト制約を含めた混合チャンネル設定における表記を拡張可能か？
• RQ5 得られたε容量の式は、ブロック長 n における極限操作なしで計算可能か？

主な発見

• 本稿は、高々可算個の成分チャンネルをもつ混合記憶なしチャンネルのε容量について、制約なしおよびコスト制約付き入力シナリオの両方で1文字表記を確立した。
• 提案された表記は、ε = 0 のときアールスウェーゲの1文字表記のチャンネル容量公式に簡約され、古典的結果と整合性を確認した。
• 逆問題境界は、特定化されたメタ逆問題境界を用いて導出され、これは混合チャンネルに対してタイトであることが示された。
• 符号化定理は情報スペクトル法を用いて証明され、誤り確率の境界は仮説検定の双対性と集中不等式を用いて導出された。
• 表記は、ブロック長 n に依存しない複雑性で計算可能であることが示され、従来の極限に基づく式とは異なり、これに反する。
• 結果として、1文字表記の適用範囲が、非定常的・非エルゴード的設定（例：ブロックフェージングチャネル）を混合チャンネルとしてモデル化する場合にまで拡張された。