[論文レビュー] New Formulas of Feedback Capacity for AGN Channels with Memory: A Time-Domain Sufficient Statistic Approach

Charalambos D. Charalambous, Christos K. Kourtellaris+1 more|arXiv (Cornell University)|Oct 13, 2020

Stability and Control of Uncertain Systems被引用数 9

ひとこと要約

本稿は、記憶を持つ加法的ガウスノイズ（AGN）チャネルにおけるフィードバック容量の公式に長年の曖昧さが存在するのを解消するために、時間領域の十分統計量アプローチを導入する。2つの一般化された行列差分リカッチ方程式（DREs）を用いて、カバーとポンブラの容量公式の新たな逐次的特徴づけを導出し、その漸近的フィードバック容量が、これらのDREの解の収束する場合にかつその場合に限り存在することを証明する。安定および不安定なノイズ過程に対して明示的な収束条件を提示する。

ABSTRACT

In the recent paper [1] it is shown, via an application example, that the Cover and Pombra [2] "characterization of the $n-$block or transmission" feedback capacity formula, of additive Gaussian noise (AGN) channels, is the subject of much confusion in the literature, with redundant incorrect results. The main objective of this paper is to clarify the main points of confusion and remove any further ambiguity. The first part of the paper applies time-domain methods, to derive for a first time, equivalent sequential characterizations of the Cover and Pombra characterization of feedback capacity of AGN channels driven by nonstationary and nonergodic Gaussian noise. The optimal channel input processes of the new equivalent sequential characterizations are expressed as functionals of a sufficient statistic and a Gaussian orthogonal innovations process. From the new representations follows that the Cover and Pombra $n-$block capacity formula is expressed as a functional of two generalized matrix difference Riccati equations (DRE) of filtering theory of Gaussian systems, contrary to results that appeared in the literature. In the second part of the paper the existence of the asymptotic limit of the $n-$block feedback capacity formula is shown to be equivalent to the convergence properties of solutions of the two generalized DREs. Further, necessary and or sufficient conditions are identified for existence of the asymptotic limits, for stable and unstable Gaussian noise, when the optimal input distributions are time-invariant, but not necessarily stationary. The paper contains an in depth analysis, with examples, of the specific technical issues, which are overlooked in past literature [3-7], that studied the AGN channel of [2], for stationary noises.

研究の動機と目的

• 記憶を持つAGNチャネルのフィードバック容量に関するカバーとポンブラの特徴づけについて、文献に根強く存在する混乱を解消すること。
• 時間領域の手法と十分統計量を用いて、フィードバック容量公式の新たな逐次的表現を導出すること。
• 漸近的フィードバック容量の存在と、2つの一般化された行列差分リカッチ方程式（DREs）の解の収束との間の同値性を確立すること。
• 時不変だが非定常な最適入力分布の下で、漸近的容量の存在に必要なおよび十分な条件を特定すること。
• 定常的ノイズモデルを扱った先行研究が見過ごしていた技術的問題を厳密に分析すること。

提案手法

• 時間領域のフィルタリング技術と十分統計量を用いて、カバーとポンブラのフィードバック容量の等価な逐次的特徴づけを導出する。
• 最適入力過程を十分統計量とガウス直交イノベーション過程の関数として表現する。
• フィルタリング理論における2つの一般化された行列差分リカッチ方程式（DREs）の関数として、$n$-ブロックのフィードバック容量を表現する。
• 一般化されたカルマンフィルタフレームワークを用いて、条件付き分布を分析し、最適入力戦略を導出する。
• ガウス分布の最大エントロピー原理を適用し、条件付き入力分布が線形かつ条件付きガウス的であることを示す。
• 基礎となるシステム行列の可観測性、検出可能性、安定化可能性を分析することで、DREの収束条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが非定常的かつ非エルゴード的である場合、記憶を持つAGNチャネルのフィードバック容量の正しい逐次的表現は何か？
• RQ2 カバーとポンブラの$n$-ブロック容量公式は、時間領域の十分統計量と一般化されたDREを用いてどのように再表現できるか？
• RQ3 安定および不安定なガウス的ノイズ過程に対して、漸近的フィードバック容量が存在する条件は何か？
• RQ4 定常的ノイズモデルを扱った先行研究が、フィードバック容量公式の重要な構造的性質をなぜ無視していたのか？
• RQ5 一般化されたDREの収束特性は、漸近的フィードバック容量の存在とどのように関係しているか？

主な発見

• フィードバック容量公式は、2つの一般化された行列差分リカッチ方程式（DREs）の関数として等価に表現可能であり、これにより先行研究における曖昧さが解消された。
• 最適入力過程が十分統計量とガウス直交イノベーション過程の関数として表現可能であることが示され、逐次的実装が可能となった。
• 漸近的フィードバック容量の存在は、2つの一般化されたDREの解の収束と同値である。
• 安定なノイズに対しては、ペair $\{A^*, G B^{*,1/2}\}$ が安定化可能であり、$\{A,C\}$ が検出可能である場合、漸近的容量の存在が保証される。
• 不安定なノイズに対しては、DREの解が収束する場合に漸近的容量が存在し、これはノイズパラメータの特定のスペクトル条件のもとで保証される。
• 先行研究が定常性を仮定していた技術的見落としを特定・是正し、一般の有効性を保つために、時不変だが非定常な入力分布が不可欠であることが示された。