[論文レビュー] Directed Information, Causal Estimation, and Communication in Continuous Time

Tsachy Weissman, Young-Han Kim+1 more|arXiv (Cornell University)|Sep 2, 2011

Wireless Communication Security Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、時間分割の下界を取ることで、連続時間確率過程における指向的情報の厳密な定義を導入し、離散時間の指向的情報の連続時間への一般化を行う。Duncanの古典的関係（因果的推定誤差と相互情報量の関係）が、フィードバック状況において指向的情報に置き換えられることを確立し、これにより連続時間のガウスおよびポアソンチャネルのフィードバック容量を特徴づける。

ABSTRACT

A notion of directed information between two continuous-time processes is proposed. A key component in the definition is taking an infimum over all possible partitions of the time interval, which plays a role no less significant than the supremum over "space" partitions inherent in the definition of mutual information. Properties and operational interpretations in estimation and communication are then established for the proposed notion of directed information. For the continuous-time additive white Gaussian noise channel, it is shown that Duncan's classical relationship between causal estimation and information continues to hold in the presence of feedback upon replacing mutual information by directed information. A parallel result is established for the Poisson channel. The utility of this relationship is then demonstrated in computing the directed information rate between the input and output processes of a continuous-time Poisson channel with feedback, where the channel input process is constrained to be constant between events at the channel output. Finally, the capacity of a wide class of continuous-time channels with feedback is established via directed information, characterizing the fundamental limit on reliable communication.

研究の動機と目的

• 連続時間確率過程間の指向的情報の定式化を目的とし、因果的情報の流れを捉える。
• 特にDuncanの定理を含む古典的推定理論的結果を、フィードバックを伴う連続時間に拡張することを目的とする。
• 指向的情報を用いて、広範な連続時間チャネルのクラスのフィードバック容量を特徴づけること。
• 入力制約がある連続時間ポアソンチャネルにおける指向的情報レートの計算において、指向的情報の有効性を示すこと。

提案手法

• 時間分割における離散時間指向的情報の下界として、連続時間指向的情報を定義する。
• より細かい時間分割における離散時間指向的情報の極限として、連続時間バージョンを定義する。
• Birkhoffのエルゴード定理とブロックエルゴード性を活用し、指向的情報レート未満のレートの達成可能性を確立する。
• 小さな時間間隔でサンプリングし、フィードバック遅延を用いて因果性をモデル化することで、連続時間過程から離散時間チャネルモデルを構築する。
• データ処理不等式および条件付き相互情報量の性質を用いて、離散時間チャネル容量と連続時間指向的情報との関係を導出する。
• ノイズ過程が定常的かつブロックエルゴード的であることを活用し、誘導される離散時間チャネルのエルゴード性を保証する。

実験結果

リサーチクエスチョン

• RQ1 連続時間確率過程に対して、指向的情報を厳密に定義する方法は何か？
• RQ2 フィードバックが存在する状況において、因果的推定誤差と相互情報量の関係を示すDuncanの定理は、連続時間に拡張可能か？
• RQ3 フィードバック容量は、指向的情報によって連続時間チャネルのクラスに特徴づけられるか？
• RQ4 出力イベント間で入力が一定である連続時間ポアソンチャネルにおける指向的情報レートは何か？
• RQ5 フィードバックの存在が、連続時間における推定誤差と情報測度の関係にどのように影響を与えるか？

主な発見

• 時間分割の下界として定義された連続時間指向的情報は、離散時間指向的情報と整合的であり、その主要な性質を継承する。
• Duncanの定理は連続時間に一般化される：フィードバック付きの加法的ホワイトガウスノイズチャネルにおける最小因果的推定誤差は、入力と出力の間の指向的情報と関係する。
• ポアソンチャネルに対しても同様の関係が成り立ち、推定誤差の特徴づけにおいて、相互情報量の代わりに指向的情報が使用される。
• 出力イベント間で入力が一定である連続時間ポアソンチャネルに対しては、一般化されたDuncanの定理を用いて、指向的情報レートを明示的に計算できる。
• 定常的かつエルゴード的ノイズを持つ広範な連続時間チャネルのフィードバック容量は、入力分布の上での指向的情報の上界として特徴づけられる。
• フィードバック容量が、時間分割の下界としての指向的情報レートに等しいことが示され、離散時間のフィードバック容量公式の連続時間版が確立される。