[論文レビュー] On the Feedback Capacity of Stationary Gaussian Channels

Young-Han Kim|ArXiv.org|Sep 27, 2005

Target Tracking and Data Fusion in Sensor Networks参考文献 11被引用数 10

ひとこと要約

本稿は、定常ガウス指向チャネルのフィードバック容量を変分問題として定式化し、最適なフィードバック符号化方式が定常的であることを証明する。1階の自己回帰移動平均（ARMA）ノイズの場合、フィードバック容量の閉形式表現を導出し、Schalkwijk–Kailath符号化方式がこの容量に達することを証明することで、情報理論における長年の未解決問題を解決する。

ABSTRACT

The capacity of stationary additive Gaussian noise channels with feedback is characterized as the solution to a variational problem. Toward this end, it is proved that the optimal feedback coding scheme is stationary. When specialized to the first-order autoregressive moving-average noise spectrum, this variational characterization yields a closed-form expression for the feedback capacity. In particular, this result shows that the celebrated Schalkwijk--Kailath coding scheme achieves the feedback capacity for the first-order autoregressive moving-average Gaussian channel, resolving a long-standing open problem studied by Butman, Schalkwijk--Tiernan, Wolfowitz, Ozarow, Ordentlich, Yang--Kavcic--Tatikonda, and others.

研究の動機と目的

• 定常ガウス指向チャネルのフィードバック容量を変分問題として特徴づけること。
• Schalkwijk–Kailath符号化方式がARMA(1)ガウス指向チャネルにおいて容量に達するかどうかという長年の未解決問題を解くこと。
• 変分的特徴づけを通じて、定常フィードバック符号化方式の漸近的最適性を確立すること。
• 1階のARMAノイズ下でのフィードバック容量に対して閉形式の表現を提供すること。
• 情報理論的議論を用いて、ARMA(1)チャネルにおけるSchalkwijk–Kailath–Butman符号化方式の最適性を確認すること。

提案手法

• パワースペクトル密度 $ S_V(e^{i\theta}) $ と厳密に因果的なフィルタ $ B(e^{i\theta}) $ を用いて、フィードバック容量の変分的特徴づけを導出する。ここで、$ S_V $ と $ |B(e^{i\theta})|^2 S_Z(e^{i\theta}) $ の和にパワー制約を課す。
• Cover–Pombraの定式化における極限と最大値の交換が正当化されることを示すことで、最適なフィードバック符号化方式が定常的であることを証明する。
• 1階のARMAノイズスペクトル $ S_Z(e^{i\theta}) = 1/|1 + \beta e^{i\theta}|^2 $, $ |\beta| < 1 $ に変分的特徴づけを適用する。
• ガウス的メッセージ $ V $ の最小平均二乗誤差推定に基づく線形符号化方式を用い、フィードバックを用いた再帰的更新を行う。
• 符号化方式がレート $ C_{\text{FB}} = -\log x_0 $ を達成することを確立し、ここで $ x_0 $ は $ P x^2 = (1 - x^2)/(1 + |\beta|x)^2 $ の唯一の正の根である。
• 漸近的等分割性を用いて方式を検証し、相補誤差関数を用いて二重指数的誤り確率の低下を示す。

実験結果

リサーチクエスチョン

• RQ1 定常ガウス指向チャネルのフィードバック容量は、変分問題として閉形式で特徴づけられるか？
• RQ2 1階のARMAガウス指向チャネルにおけるSchalkwijk–Kailath符号化方式は最適か？
• RQ3 定常ガウス指向チャネルの最適フィードバック符号化方式は、定常的構造を示すか？
• RQ4 ARMA(1)ガウス指向チャネルのフィードバック容量は何か？ そして、閉形式で表現可能か？
• RQ5 Schalkwijk–Kailath–Butman方式の漸近的性能が、容量に達することを情報理論的に厳密に証明できるか？

主な発見

• 定常ガウス指向チャネルのフィードバック容量は、パワースペクトル密度 $ S_V(e^{i\theta}) $ と厳密に因果的なフィルタ $ B(e^{i\theta}) $ の上での変分問題の解として特徴づけられ、パワー制約の下で成り立つ。
• 1階のARMAノイズスペクトル $ S_Z(e^{i\theta}) = 1/|1 + \beta e^{i\theta}|^2 $ の場合、フィードバック容量は $ C_{\text{FB}} = -\log x_0 $ であり、ここで $ x_0 $ は $ P x^2 = (1 - x^2)/(1 + |\beta|x)^2 $ の唯一の正の根である。
• Schalkwijk–Kailath–Butman符号化方式は、このフィードバック容量に達し、ARMA(1)チャネルにおいて最適であることが確認された。
• この方式の誤り確率は二重指数的に減少し、$ \mathop{\rm erfc}\nolimits\left(\sqrt{c_0 x^{-2n}/2^{2nR}}\right) $ で有界である。ここで $ c_0 $ は定数である。
• 最適なフィードバック符号化方式は定常的であり、変分的特徴づけにより、Cover–Pombraの定式化における極限と最大値の交換が正当化される。
• ノイズが白色でない限り、フィードバック容量は非フィードバック容量よりも厳密に大きいことが確認され、色のついたノイズではフィードバックが容量を増加させることを裏付けた。