[論文レビュー] Isomorphism between Maximum Lyapunov Exponent and Shannon's Channel Capacity

Gerald Friedland, Alfredo Metere|arXiv (Cornell University)|Jun 27, 2017

Evolutionary Algorithms and Applications参考文献 6被引用数 4

ひとこと要約

本稿では、計算可能な力学系の最大リャプノフ指数（LE）とノイズのないメモリーレスシャノン通信チャネルのチャネル容量との間の厳密な同型性を確立する。LEをシステムの状態遷移を追跡するために必要な最大ビットレートとして再解釈することで、カオス理論と情報理論の橋渡しを果たし、運動方程式を直接解かずに機械学習および情報理論的手法を用いて複雑な物理系をシミュレートすることが可能になる。

ABSTRACT

We demonstrate that the Maximum Lyapunov Exponent for computable dynamical systems is isomorphic to the maximum capacity of a noiseless, memoryless channel in a Shannon communication model. The isomorphism allows the understanding of Lyapunov exponents in the simplified terms of Information Theory, rather than the traditional definitions in Chaos Theory. This work provides a bridge between fundamental physics and Information Theory to the mutual benefit of both fields. The result suggests, among other implications, that machine learning and other information theory methods can be successfully employed at the core of physics simulations.

研究の動機と目的

• 力学系における最大リャプノフ指数（LE）とシャノン情報理論におけるチャネル容量との間の形式的数学的同型性を確立すること。
• LEがノイズのないメモリーレス通信チャネルにおける最大情報伝送レートとして解釈できることを示すこと。
• 運動方程式を直接解かずに、情報理論および機械学習的手法を用いて複雑な力学系をシミュレートすることを可能にすること。
• コルゴモロフ＝シンアインエントロピーを正のチャネル容量の和として一般化し、LEに基づく解析の有効性を情報理論で取り扱えるすべての系に拡張すること。
• 確率的アプローチとは対照的に、物理系の情報理論的解析に決定的枠組みを提供すること。

提案手法

• 無限小の入力信号の極限を用いた、最大リャプノフ指数とシャノンチャネル容量との間の形式的導出。
• 入力サイズXが0に近づく極限におけるシャノン＝ハートリー定理の再定式化により、容量の普遍的上限が得られる。
• 新しい指標、最大チャネル容量 $ C_M $ を $ \lim_{t\to\infty} \lim_{X\to 0} \frac{1}{t} \log_2(Y/X) $ として定義し、最大LEと同型であることを証明。
• コンピュータ表現可能性の不変性の原則の適用により、任意のN次元力学系が一般性を失わず1次元再帰的写像に還元可能であることを示す。
• 相互情報量 $ I(X;Y) $ および信号対ノイズ比の概念を用いて、状態の時間発展を通信プロセスとしてモデル化。
• 力学系の時間発展を初期状態 $ X $ から最終状態 $ Y $ への写像関数 $ N(t) $ として解釈。

実験結果

リサーチクエスチョン

• RQ1 決定論的力学系の最大リャプノフ指数が、シャノンモデルにおけるノイズのないメモリーレス通信チャネルの容量と正式に同型であるか。
• RQ2 チャネル容量式において $ X \to 0 $ の極限を取ることの物理的意味は何か。また、これは系の固有の複雑性とどのように関係するか。
• RQ3 リャプノフ指数とチャネル容量の同型性が、正のチャネル容量の和としてのコルゴモロフ＝シンアインエントロピーの測定にどのように拡張されるか。
• RQ4 状態遷移を情報伝送として符号化することで、機械学習および情報理論的手法を用いて力学系をシミュレートできるか。
• RQ5 決定論的物理系を通信チャネルとして扱うことは可能か。これにより、カオス理論と情報理論の統一的枠組みが可能になるか。

主な発見

• 最大リャプノフ指数が、無限小の入力信号の極限において、ノイズのないメモリーレスチャネルの最大チャネル容量 $ C_M $ と厳密に同型であることが証明された。
• 新しい指標 $ C_M = \lim_{t\to\infty} \lim_{X\to 0} \frac{1}{t} \log_2(Y/X) $ が定義され、最大リャプノフ指数と同等であることが示され、情報伝送レートの普遍的上限を提供する。
• 従来、正のリャプノフ指数の和として定義されていたコルゴモロフ＝シンアインエントロピーが、正のチャネル容量の和に対応する総ビットレートとして再解釈された。
• 同型性のおかげで、任意のN次元力学系を等価な1次元再帰的写像に還元でき、コンピュータ表現可能性の不変性の原則が確立された。
• 本研究は、物理系の情報理論的解析に決定的基盤を提供し、従来の確率的モデルとは対照的であり、機械学習を物理シミュレーションに応用する範囲を拡張した。
• Ebeidの先行研究を妥当化・大幅に一般化し、LEが通信レートと相関しているのではなく、数学的に同型であることが証明された。