[論文レビュー] Information erasure lurking behind measures of complexity

Karoline Wiesner, Mile Gu+2 more|arXiv (Cornell University)|May 18, 2009

Statistical Mechanics and Entropy参考文献 2被引用数 4

ひとこと要約

本稿は、統計的複雑性と有効測度複雑性（超過エントロピー）の根本的関係を確立し、その差が予測の過程で消失する情報量に等しいことを示している。情報処理効率を定義することで、最小限の情報損失に基づくモデル性能の定量的基準を提示している。

ABSTRACT

Complex systems are found in most branches of science. It is still argued how to best quantify their complexity and to what end. One prominent measure of complexity (the statistical complexity) has an operational meaning in terms of the amount of resources needed to forecasting a system's behaviour. Another one (the effective measure complexity, aka excess entropy) is a measure of mutual information stored in the system proper. We show that for any given system the two measures differ by the amount of information erased during forecasting. We interpret the difference as inefficiency of a given model. We find a bound to the ratio of the two measures defined as information-processing efficiency, in analogy to the second law of thermodynamics. This new link between two prominent measures of complexity provides a quantitative criterion for good models of complex systems, namely those with little information erasure.

研究の動機と目的

• 複雑系における統計的複雑性と有効測度複雑性（超過エントロピー）の関係を明確化すること。
• 予測の過程での情報消失が、これら二つの複雑性測度の差を生じる主要因であることを特定すること。
• 情報処理効率に基づく情報損失の最小化を基準にした、モデル品質の定量的基準を確立すること。
• 情報損失を複雑系モデリングにおける根本的制約として位置づけるために、熱力学第二法則に類似した枠組みを提示すること。

提案手法

• 統計的複雑性を、システムの挙動を予測するために必要なリソースとして定義する。
• 有効測度複雑性（超過エントロピー）を、システム構造に蓄えられた相互情報量として定義する。
• 二つの測度の差を、予測の過程で消失する情報量として導出する。
• 情報処理効率を、超過エントロピーと統計的複雑性の比として定式化する。
• この比の理論的上限を、熱力学第二法則に類似した形で確立する。
• 情報理論的ツールを用いて、不可逆的情報損失の観点からモデルの非効率性を分析する。

実験結果

リサーチクエスチョン

• RQ1 予測と情報保存の観点から、統計的複雑性と有効測度複雑性はどのように関係しているか？
• RQ2 これらの二つの複雑性測度の差異を生じる要因として、情報消失が果たす役割は何か？
• RQ3 情報処理効率は、複雑系モデルの評価における定量的ベンチマークとして機能できるか？
• RQ4 予測における情報損失の概念は、熱力学的不可逆性とどのように類似しているか？
• RQ5 情報消失は、効率的な複雑系モデルの設計にどのような制約を課えるか？

主な発見

• 統計的複雑性と超過エントロピーの差は、正確に予測の過程で消失する情報量に等しい。
• 情報消失はモデルの非効率性を定量化する指標となり、情報消失量が多いほど予測性能が低いモデルを示す。
• 情報処理効率の理論的上限が導出され、熱力学第二法則に類似した形を取る。
• 最小限の情報消失を伴うモデルが最適と特定され、モデル評価の新しい基準が提供される。
• 予測コストと構造的情報の両者を統合的に捉える枠組みが提供され、複雑性測度の統一的視点が得られる。
• 結果として、超過エントロピーが予測後に保持される情報としての明確な操作的解釈が得られた。