[論文レビュー] Randomness, Information, and Complexity

Peter Grassberger|arXiv (Cornell University)|Aug 16, 2012

Computability, Logic, AI Algorithms参考文献 7被引用数 26

ひとこと要約

本稿は、情報理論的指標を用いて力学系における複雑性を調査し、記号的力学系と効果的測度複雑性（EMC）に焦点を当てる。複雑性はランダムネスから生じるのではなく、構造的で非ランダムな相関から生じるという主張を提示する。これは、エントロピーがゼロであるがブロックエントロピーが発散する細胞自動機ルール22において実証されている。これは生物学的系に類似した、広大で制約された吸引子を示している。主な貢献は、EMCがランダム性や周期性を越えた自己組織的複雑性を捉える指標であると特定したことである。

ABSTRACT

We review possible measures of complexity which might in particular be applicable to situations where the complexity seems to arise spontaneously. We point out that not all of them correspond to the intuitive (or "naive") notion, and that one should not expect a unique observable of complexity. One of the main problems is to distinguish complex from disordered systems. This and the fact that complexity is closely related to information requires that we also give a review of information measures. We finally concentrate on quantities which measure in some way or other the difficulty of classifying and forecasting sequences of discrete symbols, and study them in simple examples.

研究の動機と目的

• 力学系における複雑性を定量的に測る指標を形式化し、ランダムネスや無秩序性と区別すること。
• 物理学、生物学、情報理論の分野において「複雑性」を定義する際の意味的・概念的曖昧性を解消すること。
• 生命に見られるような自己組織的複雑性が、記号的力学系と情報測度を用いて単純な規則から生じるかどうかを調査すること。
• 物理的・生物学的・言語的システムからの系列における長距離相関を捉えるために、効果的測度複雑性（EMC）の有効性を評価すること。

提案手法

• 力学系の連続的軌道（例：二次写像）を離散的記号系列（例：L, R, C）に写像する記号的力学系を用いる。
• ブロックエントロピーと効果的測度複雑性（EMC）を用いて記号系列内の相関を定量化する。EMCは、ブロックエントロピーの極限から定常分布のエントロピーを差し引いたものとして定義される。
• 遷移確率の推定に確率的予測モデルを用い、系列のエントロピー推定を可能にする。
• 初期状態をランダムに設定してルール22の細胞自動機の進化をシミュレートし、空間的および時間的ブロックエントロピーを測定する。
• 繰返し長と冗長性を用いて書かれた英語のエントロピーを推定し、シャノンの冗長性に基づく手法を適用して長距離相関を推定する。
• 力学系、細胞自動機、言語、DNAの各システムを比較することで、EMCが複雑性指標として普遍的であるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 効果的測度複雑性（EMC）は、力学系におけるランダムまたは周期的な系列とは異なった構造的で複雑な系列を識別できるか？
• RQ2 細胞自動機ルール22は、ゼロエントロピーと発散するブロックエントロピーによって示されるように、非自明で自己組織的で、ランダムでも周期的でもない吸引子を生成するか？
• RQ3 書かれた英語のような自然言語系列は、高い情報含量にもかかわらず、低エントロピーを示す長距離相関をどの程度示すか？
• RQ4 EMCは、ランダムネスと複雑性が直感的に異なるとされる状況において、アルゴリズム的複雑性と比較して、記号系列の複雑性をどの程度適切に測定できるか？
• RQ5 EMCは、生命のようなシステムが自発的に構造を生成するような系の普遍的複雑性指標として機能できるか？

主な発見

• 細胞自動機ルール22は、ゼロエントロピーを示す定常状態を生成するが、ブロックエントロピーはブロック長に伴い発散する。これは、広大で非周期的かつ非ランダムな吸引子を示している。
• ルール22の定常状態における空間的および時間的系列では、ブロックエントロピーの差がべき則的に減少する。これは、標準的エントロピー測度では捉えきれない長距離相関を示している。
• 書かれた英語では、エントロピー推定値がN=1のとき約4.4ビット/文字から、Nが大きいと1ビット未満にまで低下する。これは、高い冗長性と長距離の文法的相関を示している。
• N = 2×10⁵文字の範囲で、繰り返し文字列の平均長は約8文字に達する。これは、語のレベルを越えた構文的・意味的制約への感受性を示している。
• DNA系列は、繰り返し率が極めて高く、定常性に欠けるため、英語と同様の手法では解析できなかった。
• 本研究は、EMCが、ルール22 や書かれた英語のような系において、周期性や完全なランダムネスを示さないが構造が生じる系において、ランダムネスとは異なる種類の複雑性を捉えられると結論づけている。