[論文レビュー] Optimal high-level descriptions of dynamical systems

David H. Wolpert, Joshua A. Grochow+2 more|arXiv (Cornell University)|Sep 25, 2014

Model Reduction and Neural Networks参考文献 111被引用数 18

ひとこと要約

本稿では、予測精度と計算コストのバランスを取ることで、力学的システムの最適な高次元記述を導出するための形式的手法として、状態空間圧縮（SSC）フレームワークを紹介する。情報理論的精度コストと計算コストの測定を用いて最適な粗粒度化を定量化し、物理学、生物学、経済学の分野における顕在的マクロ状態の体系的導出を可能にする。

ABSTRACT

To analyze high-dimensional systems, many fields in science and engineering rely on high-level descriptions, sometimes called "macrostates," "coarse-grainings," or "effective theories". Examples of such descriptions include the thermodynamic properties of a large collection of point particles undergoing reversible dynamics, the variables in a macroeconomic model describing the individuals that participate in an economy, and the summary state of a cell composed of a large set of biochemical networks. Often these high-level descriptions are constructed without considering the ultimate reason for needing them in the first place. Here, we formalize and quantify one such purpose: the need to predict observables of interest concerning the high-dimensional system with as high accuracy as possible, while minimizing the computational cost of doing so. The resulting State Space Compression (SSC) framework provides a guide for how to solve for the {optimal} high-level description of a given dynamical system, rather than constructing it based on human intuition alone. In this preliminary report, we introduce SSC, and illustrate it with several information-theoretic quantifications of "accuracy", all with different implications for the optimal compression. We also discuss some other possible applications of SSC beyond the goal of accurate prediction. These include SSC as a measure of the complexity of a dynamical system, and as a way to quantify information flow between the scales of a system.

研究の動機と目的

• 科学および工学分野における高次元記述（マクロ状態）の目的を形式的かつ定量的に定式化すること、特にシステムの観測量を予測することを目的とする。
• 直感的または恣意的な定義に依存せずに、最良のマクロ状態を体系的に選ぶ方法という、長年の問題に取り組むこと。
• 粗粒度化された力学的システムにおける予測精度と計算コストのトレードオフを最適化する統一的フレームワークを構築すること。
• 繰り返しの圧縮を用いて、微細な記述から顕在的マクロ状態へと至る階層的記述スケールの構築を可能にすること。
• 従来の測定法（例：伝達エントロピー）とは異なる、スケール間の情報フローを定量的に測定する原理的手段を提供すること。

提案手法

• マクロ状態が観測量をどれだけうまく予測できるか（精度コスト）と、マクロ状態を計算・使用するための努力（計算コスト）の両者をバランスさせる、ユーティリティに基づく目的関数を提案する。
• 時間平均された観測量とマクロ状態からの予測との間の相互情報量を用いて、精度コストを定義する。
• 誤った相関関係が相互情報量のスコアを誇張するのを避けるために、条件付きエントロピーと時間平均された同時分布を用いる。
• 微細な状態空間 $ X $ から粗粒度化されたマクロ状態 $ Y $ への形式的写像 $ x_t \to y_t $ を定義し、そのダイナミクスは $ \phi $ で制御され、予測写像は $ \pi $ で表される。
• 理論的コンピュータ科学の概念を用いて、$ \pi $、$ \phi $、および状態遷移構造の複雑さに基づき、計算コストを定義する。
• 精度コストと計算コストを組み合わせた完全なSSC目的関数を導出し、最適なマクロ状態の最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 与えられた予測精度の目標と最小限の計算コストを満たすために、力学的システムの最適な高次元記述とは何か？
• RQ2 粗粒度化において、予測精度と計算複雑性のトレードオフをどのように形式的かつ定量的に定式化できるか？
• RQ3 システム内のスケール間の情報フローの役割とは何か？ そして、それらは従来の測定法とはどのように異なって測定できるか？
• RQ4 SSCフレームワークは、予測力を保持したまま、段階的にシステムを圧縮するマクロ状態の階層を生成できるか？
• RQ5 異なる情報理論的精度測定法（例：相互情報量、条件付きエントロピー）は、それぞれ異なる最適マクロ状態を導くか？

主な発見

• SSCフレームワークは、精度コストと計算コストの組み合わせ目的関数を最小化することで、最適なマクロ状態を原理的かつ客観的に導出する手法を提供する。
• 時間平均された相互情報量や条件付きエントロピーに基づく情報理論的精度コストは、瞬時の値よりもより頑健で意味のある測定をもたらす。
• 本フレームワークは、単一のシステム内におけるスケール間の情報フローと、別個のシステム間の情報フローを区別し、それぞれに異なる定量的アプローチを正当化する。
• 伝達エントロピーとは異なり、提案された測定法は、過去の状態のエコーのような直接的な動的依存性を通じた情報フローを捉えることができ、スケールベースの解析に不可欠である。
• 本フレームワークにより、より圧縮されたレベルから予測を補正できる、階層的マクロ状態の構築が可能になる。
• 本手法により、従来から使われてきたマクロ状態（例：熱力学的変数、マクロ経済集計）が、この目的関数のもとですでに近似的に最適であることが明らかになった。