[論文レビュー] Achieving the Empirical Capacity Using Feedback Part I: Memoryless Additive Models

Ofer Shayevitz, Meir Feder|ArXiv.org|Aug 29, 2008

Markov Chains and Monte Carlo Methods参考文献 5被引用数 7

ひとこと要約

本稿は、任意で未知のノイズ系列を伴うメモリレス加法的チャネルに対して、普遍的なフィードバックベースの伝送方式を提案し、古典的容量がゼロであっても、経験的容量 $\log|\mathcal{X}| - H_{\rm emp}(Z^n)$ に近いレートを達成する。順次符号化を用い、トレーニングおよびアップデートフェーズを経て、共通のランダムネスまたはジターリングを活用することで、ノイズ統計をリアルタイムで適応的に推定し、チャネルの実際の挙動に応じた可変レートで信頼性の高い通信を実現する。

ABSTRACT

We address the problem of universal communications over an unknown channel with an instantaneous noiseless feedback, and show how rates corresponding to the empirical behavior of the channel can be attained, although no rate can be guaranteed in advance. First, we consider a discrete modulo-additive channel with alphabet $\mathcal{X}$, where the noise sequence $Z^n$ is arbitrary and unknown and may causally depend on the transmitted and received sequences and on the encoder's message, possibly in an adversarial fashion. Although the classical capacity of this channel is zero, we show that rates approaching the empirical capacity $\log|\mathcal{X}|-H_{emp}(Z^n)$ can be universally attained, where $H_{emp}(Z^n)$ is the empirical entropy of $Z^n$. For the more general setting where the channel can map its input to an output in an arbitrary unknown fashion subject only to causality, we model the empirical channel actions as the modulo-addition of a realized noise sequence, and show that the same result applies if common randomness is available. The results are proved constructively, by providing a simple sequential transmission scheme approaching the empirical capacity. In part II of this work we demonstrate how even higher rates can be attained by using more elaborate models for channel actions, and by utilizing possible empirical dependencies in its behavior.

研究の動機と目的

• 古典的容量が悪意あるノイズのためゼロとなる、即時のノイズレスフィードバックを伴う未知のチャネルにおける普遍的通信を扱う。
• チャネルの経験的エントロピーがノイズ系列によって定義される、チャネルの実際の挙動に一致するレートを達成する。
• 事前知識なしに、任意のノイズ系列に適応するリアルタイムな実用的で順次的な送信方式を構築する。
• 共通のランダムネスが、アクティブなフィードバックが存在しない状況でも、普遍的なレート適応を可能にすることを示す。
• 任意のチャネル挙動をモジュロ加法的モデルに統一し、観測された経験的統計に基づいたレート適応を可能にする。

提案手法

• 時間はブロックに分けられ、トレーニングおよびアップデートフェーズを用いてノイズ系列の経験的分布を推定する順次伝送方式を採用する。
• 入力分布の均一性を保証し、トレーニングサンプルが真の経験的ノイズ分布を反映するように、ジターリングを適用する。
• アクティブなフィードバックを置き換えるために共通のランダムネスを用い、制御系列内の構造的アルファベットを通じて制御情報（例：アップデートビットの位置）を送信する。
• エンコーダはフィードバックを用いて、過去の観測値、メッセージポイント、および制御系列に基づき、入力記号を適応的に選択し、ノイズの因果的サンプリングを保証する。
• 補題により、トレーニングおよびアップデート系列がノイズの因果的サンプリング系列を形成することを示し、一貫した経験的エントロピー推定を可能にする。
• トレーニング、通常、アップデートの位置を考慮した入力記号上の周辺分布を定義することで、冗長性項を最小化する。

実験結果

リサーチクエスチョン

• RQ1 悪意ある未知のノイズ系列を伴うチャネルにおいて、経験的容量に近いレートで信頼性の高い通信が達成可能か？
• RQ2 古典的容量がゼロであっても、チャネルの実際の経験的挙動に合わせて、普遍的にレートを適応可能にできるか？
• RQ3 共通のランダムネスを用いて、経験的容量を達成するためにアクティブなフィードバックを置き換えられるか？
• RQ4 ジターリングによる入力分布の均一性は、正確な経験的エントロピー推定にどのように寄与するか？
• RQ5 提案された方式は、すべての可能なチャネル実現およびメッセージポイントにおいて、経験的容量に一様収束するか？

主な発見

• 提案方式は、任意で未知のノイズ系列を伴うメモリレス加法的チャネルに対して、普遍的に経験的容量 $\log|\mathcal{X}| - H_{\rm emp}(Z^n)$ を達成する。
• 古典的容量がゼロである場合（例：2進モジュロ加法的チャネルにおける $p \geq 1/3$）であっても、方式は経験的容量に近いレートを達成する。
• ジターリングを用いることで、家族 $\mathscr{C}_{\scriptscriptstyle\mathcal{X}}$ 全体にわたって、経験的容量が一様に達成され、収束パrameterはチャネルやメッセージポイントに依存しない。
• 共通のランダムネスの使用により、アクティブなフィードバックを置き換えつつも、経験的容量性能を維持できる。
• ジターリングにより、トレーニングおよびアップデートサンプルが真の経験的ノイズ分布を反映し、$H_{\rm emp}(Z^n)$ の一貫した推定が可能になる。
• 補題により、トレーニングおよびアップデート系列が各ブロック内でのノイズの因果的サンプリング系列を形成することを示し、収束が保証される。