[論文レビュー] Information Compression by Multiple Alignment, Unification and Search as a Unifying Principle in Computing and Cognition

J. Gerard Wolff|ArXiv.org|Jul 10, 2003

Computability, Logic, AI Algorithms参考文献 24被引用数 8

ひとこと要約

本稿では、情報圧縮のための複数アラインメント、統合、探索（ICMAUS）を、計算と認知の統合的原則として提唱する。パターンマッチング、類似構造の統合、ヒューリスティック探索によって、効率的な情報圧縮が可能となる。このフレームワークは、文法とデータ符号化サイズの合計を最小化することで、言語学習から確率的推論に至る多様な認知的・計算的タスクを支援する。SP61ソフトウェアモデルによる実証的検証により、AI、認知科学、知識表現分野への広範な適用可能性が示された。

ABSTRACT

This article presents an overview of the idea that "information compression by multiple alignment, unification and search" (ICMAUS) may serve as a unifying principle in computing (including mathematics and logic) and in such aspects of human cognition as the analysis and production of natural language, fuzzy pattern recognition and best-match information retrieval, concept hierarchies with inheritance of attributes, probabilistic reasoning, and unsupervised inductive learning. The ICMAUS concepts are described together with an outline of the SP61 software model in which the ICMAUS concepts are currently realised. A range of examples is presented, illustrated with output from the SP61 model.

研究の動機と目的

• 人工知能、認知科学、計算システムにおける統合的原則としてICMAUSを提唱すること。
• パターンアラインメントと統合による情報圧縮が、知覚、言語理解、学習といったコアな認知機能を規定することを示すこと。
• 合計メッセージ長（文法＋データ符号化）を最小化することで、教師のフィードバックや負例なしに有効な誘導学習が可能になること。
• SP61ソフトウェアモデルを通じたICMAUSの計算的実装を提供し、テストおよび応用を可能とすること。
• HMM やベイズネットワークといった従来モデルとは異なり、複雑で階層的かつ相互依存的な知識構造を扱える柔軟な代替モデルとしてICMAUSを位置づけること。

提案手法

• 多様な入力間で共通する構造を特定するために、パターンの複数アラインメントが用いられ、生物学的相同性アラインメントとは類似しているが、記号的・意味的パターンに一般化されている。
• 一致するか類似したパターンが統合され、より抽象度の高い1つの表現に統合されることで、冗長性が低減され、情報が圧縮される。
• ヒューリスティクスと制約に従って、アラインメントおよび統合の候補を探索することで、高圧縮解を効率的に見つける。
• SP61モデルは、古くから一般化されたパターンのリポジトリを維持し、アラインメントと統合を通じて動的に新しい入力を統合することで、ICMAUSを実装する。
• 情報圧縮は、最小長符号化（MLE）によって形式化され、文法（G）と符号化済みデータ（E）の合計コスト（G + E）を最小化することで、単純さと記述力のバランスをとる。
• 統計的確率は、パターンに付随する頻度カウントから導出され、事前に定義された条件付き確率表が不要な確率的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パターンアラインメント、統合、探索による情報圧縮が、計算と認知の多様な分野にわたる統合的原則として機能できるか？
• RQ2 教師のフィードバックや負例なしに、ICMAUSはどのように無教師誘導学習を支援するか？
• RQ3 ICMAUSは、隠れマルコフモデル（HMM）やベイズネットワークといった従来モデルと比較して、どのように複雑な依存関係を表現するか、あるいは補完的か？
• RQ4 ICMAUSフレームワークにおいて、繰り返しアラインメントと統合を用いて、階層的・再帰的構造をどのように構築できるか？
• RQ5 ICMAUSは、概念形成、知覚、言語習得といった人間らしい認知プロセスをどの程度正確にモデル化できるか？

主な発見

• ICMAUSは、教師なしで言語学習を効果的にモデル化でき、子どもが限られた入力から文法規則を一般化できる仕組みを、合計メッセージ長の最小化によって説明できる。
• SP61モデルは、複数アラインメントと統合が、『温血』や『長い首』といった共通属性を持つ鳥類分類のような階層的概念構造を生成できることを示している。
• ICMAUSは、相互に絡み合う助動詞構造を含む自然言語の文法的依存関係を、ベイズネットワークやHMMよりも柔軟に扱える。
• HMMとは異なり、観測値の間のマルコフ的独立性を仮定しないICMAUSは、パターン構造を通じて任意の依存関係を表現可能であり、非マルコフ的データに適している。
• ベイズネットワークにおける完全な条件付き確率表に代えて、パターンの頻度に基づく確率推定を採用することで、より単純かつスケーラブルな代替手段が得られる。
• SP61モデルによる実証的結果から、ICMAUSは最小限の計算コストで、最適一致情報検索、ファジーなパターン認識、継承ベースの概念階層をサポートすることが示された。