[論文レビュー] Entropy bounds on state estimation for stochastic non-linear systems under information constraints.

Christoph Kawan, Serdar Yüksel|arXiv (Cornell University)|Dec 2, 2016

Distributed Sensor Networks and Detection Algorithms被引用数 4

ひとこと要約

本稿は、情報制約下における確率的非線形システムの状態推定に要するチャネル容量の基本的エントロピーに基づく上限を確立する。多くのシステム、特に加法的ノイズモデルでは、有限容量チャネルでは推定誤差のほとんど確実または2次的安定性を達成できないことが示され、無限大の最小容量 $ C_0 $ が必要であることを示唆している。一方、メモリレスなノイズ付きチャネルは、システムノイズが存在しない場合には漸近的推定を妨げない。

ABSTRACT

This paper studies state estimation over noisy channels for stochastic non-linear systems. We consider three estimation objectives, a strong and a weak form of almost sure stability of the estimation error as well as quadratic stability in expectation. For all three objectives, we derive lower bounds on the smallest channel capacity $C_0$ above which the objective can be achieved with an arbitrarily small error. Lower bounds are obtained via a dynamical systems (through a novel construction of a dynamical system), an information-theoretic and a random dynamical systems approach. The first two approaches show that for a large class of systems, such as additive noise systems, $C_0 = \infty$, i.e., the estimation objectives cannot be achieved via channels of finite capacity. The random dynamical systems approach is shown to be operationally non-adequate for the problem, since it yields finite lower bounds $C_0$ under mild assumptions. Finally, we prove that a memoryless noisy channel in general constitutes no obstruction to asymptotic almost sure state estimation with arbitrarily small errors, when there is no noise in the system.

研究の動機と目的

• 情報制約下における確率的非線形システムの安定な状態推定を達成するために必要な最小チャネル容量 $ C_0 $ を特定すること。
• 3つの推定目的を分析すること：推定誤差のほとんど確実な安定性（強および弱の形）、期待値における2次的安定性。
• これらの目的の下で、有限容量チャネルが任意に小さな推定誤差をサポートできるかどうかを評価すること。
• 3つの解析的手法（力学系、情報理論、確率的力学系）の有効性を比較すること。
• システムノイズが存在しない場合に、メモリレスなノイズ付きチャネルが漸近的状態推定を妨げるかどうかを評価すること。

提案手法

• 本稿では、チャネル容量 $ C_0 $ の下限を導出するために、新たな力学系の構築法を用い、加法的ノイズモデルを含む広範なクラスのシステムにおいて $ C_0 = ∞ $ であることを示している。
• 情報理論的手法を適用して $ C_0 $ の下限を確立し、多くの場合において有限容量チャネルでは推定目的を達成できないことを確認している。
• 確率的力学系のアプローチを採用したが、やや弱い仮定の下で有限の $ C_0 $ の下限が得られることを示し、問題に対しては運用的に不適切であることが判明した。
• チャネルの記憶性とノイズの役割を分析し、特にシステムノイズがゼロの場合にメモリレスなノイズ付きチャネルが漸近的ほとんど確実な推定を妨げないことを証明している。
• エントロピーと相互情報量の測定を用いて、安定な推定に必要な情報フローを定量化する理論的境界を導出している。
• 離散時間確率的非線形システムと、チャネルノイズが推定誤差のダイナミクスに与える影響を両方とも分析している。

実験結果

リサーチクエスチョン

• RQ1 確率的非線形システムにおいて、推定誤差のほとんど確実な安定性を達成するために必要な最小チャネル容量 $ C_0 $ は何か？
• RQ2 期待値における2次的安定性の下で、有限容量チャネルが任意に小さな推定誤差をサポートできるか？
• RQ3 なぜ確率的力学系のアプローチは、やや弱い仮定の下で有限の $ C_0 $ の下限を導出し、問題に対して運用的に不適切なのであろうか？
• RQ4 どのような条件下で、メモリレスなノイズ付きチャネルでも漸近的ほとんど確実な状態推定が可能になるか？
• RQ5 加法的ノイズ系は、安定な推定に必要なチャネル容量にどのように影響を与えるか？

主な発見

• 加法的ノイズ系を含む、多くの確率的非線形システムにおいて、必要な最小チャネル容量 $ C_0 $ は無限大であり、有限容量チャネルでは推定目的を達成できない。
• 情報理論的および力学系の両手法は、加法的ノイズ系において $ C_0 = ∞ $ を得ており、これは根本的な情報理論的限界を示している。
• 確率的力学系のアプローチは、やや弱い仮定の下で有限の $ C_0 $ の下限を導出するが、これは他の手法で得られるより強い下限と矛盾しており、運用的に無効である。
• システムノイズが存在しない場合、メモリレスなノイズ付きチャネルは、任意に小さな誤差で漸近的ほとんど確実な推定を妨げない。
• 解析フレームワークの選択が、導出される下限に著しく影響することを示しており、唯一2つの手法が意味のある非自明な結果をもたらしている。
• 結果は、確率的非線形システムにおけるシステムノイズ、チャネル容量、推定安定性の間の根本的なトレードオフを強調している。