[論文レビュー] The Information Flow and Capacity of Channels with Noisy Feedback

Chong Li, Nicola Elia|arXiv (Cornell University)|Aug 13, 2011

Wireless Communication Security Techniques参考文献 34被引用数 7

ひとこと要約

本稿では、ノイジィなフィードバックを持つチャネルにおける効果的情報フローを定量化するため、残差指向情報（residual directed information）を導入する。ノイジィなフィードバックによる送信機受信機間の調整の喪失により、典型的なクローズドループ符号化方式では容量に到達できないことを証明する。残差指向情報に基づく一般化された符号化定理を確立し、因果的条件付き指向情報を用いて計算可能な境界を提示することで、通信システムにおけるノイジィなフィードバックの有効性について長年の疑問を解消する。

ABSTRACT

In this paper, we consider some long-standing problems in communication systems with access to noisy feedback. We introduce a new notion, the residual directed information, to capture the effective information flow (i.e. mutual information between the message and the channel outputs) in the forward channel. In light of this new concept, we investigate discrete memoryless channels (DMC) with noisy feedback and prove that the noisy feedback capacity is not achievable by using any typical closed-loop encoder (non-trivially taking feedback information to produce channel inputs). We then show that the residual directed information can be used to characterize the capacity of channels with noisy feedback. Finally, we provide computable bounds on the noisy feedback capacity, which are characterized by the causal conditional directed information.

研究の動機と目的

• ノイジィなフィードバックを伴う通信システムにおける長年の未解決問題に取り組むこと、特にノイジィなフィードバックが信頼性を向上させるか、複雑性を低減するかという点である。
• フィードバックがノイジィである場合に、送信機と受信機の調整が乱れるため、前向きチャネルにおける効果的情報フローの概念を形式化すること。
• 離散メモリレスチャネル（DMC）に通常のノイジィなフィードバックを用いる場合、標準的なクローズドループ符号化戦略では、調整のためのレート犠牲が内在するため、容量に到達できないことを証明すること。
• 完全なフィードバックに関する先行研究を拡張し、残差指向情報に基づく一般化されたチャネル符号化定理を構築すること。
• 因果的条件付き指向情報を用いて、ノイジィなフィードバック容量の計算可能な境界を導出することにより、動的計画法を用いた実用的計算を可能とすること。

提案手法

• ノイジィなフィードバックシステムにおけるメッセージとチャネル出力間の効果的相互情報量を捉えるために、新たな情報理論的測度である残差指向情報を提案する。
• コード語からコード関数への変換を用いて、ノイジィなフィードバック符号化問題を、最適化された入力分布を有する等価な非フィードバック問題に再定式化する。
• 達成可能性境界を確立するために、確率的符号化の議論を適用し、誤り確率を残差指向情報と指数的ペナルティ項で上限付ける。
• 残差指向情報の入力分布に関する上界が、達成可能なレートの上界を示す対照的定理を導出する。
• 残差指向情報の計算可能な代理指標として因果的条件付き指向情報を導入し、動的計画法に基づく計算を可能にする。
• 既存の動的計画法フレームワーク（例：Tatikonda-Mitter）を活用し、ノイジィなフィードバック設定に拡張することで、効率的な境界計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 ノイジィなフィードバックは、通信システムにおける誤り指数を向上させたり、符号化の複雑性を低減させたりするか？
• RQ2 離散メモリレスチャネルにノイジィなフィードバックを用いる場合、フィードバックを利用して入力を生成するような典型的なクローズドループ符号化方式は、容量に到達可能か？
• RQ3 フィードバックがノイジィで信頼性がない場合、前向きチャネルを通じた効果的情報フローはどのように定量化できるか？
• RQ4 ノイジィなフィードバックを伴うシステムにおけるチャネル容量の一般的な特徴づけは何か？ また、実用的に計算可能か？
• RQ5 指向情報の一般化を用いて、ノイジィなフィードバック容量の計算可能な境界を導出可能か？

主な発見

• 通常のノイジィなフィードバックを伴う離散メモリレスチャネルの容量は、調整回復のためのレート犠牲が内在するため、いかなる典型的なクローズドループ符号化方式でも達成できない。
• 残差指向情報は、ノイジィなフィードバック状況下で、従来の指向情報に代わる前向きチャネルにおける効果的情報フローの正確な特徴づけを提供する。
• 一般化されたノイジィなフィードバック符号化定理により、入力分布に関する残差指向情報の上界がノイジィなフィードバック容量に等しいことが示された。
• 因果的条件付き指向情報を用いて、ノイジィなフィードバック容量の計算可能な上界・下界が導出され、標準的指向情報の一般化が可能となった。
• これらの境界は動的計画法による計算に適しており、特定のチャネルにおけるフィードバック容量の実用的評価を可能にした。
• 本フレームワークにより、ノイジィなフィードバックが有益であるかどうかという根本的問いが解消された：有益であるが、残差指向情報による適切な定量化が不可欠である。