[論文レビュー] Introduction to the SP theory of intelligence

J. Gerard Wolff|arXiv (Cornell University)|Feb 24, 2018

Computability, Logic, AI Algorithms参考文献 18被引用数 4

ひとこと要約

本論文は、人工知能、コンピューティング、数学、および人間の認知の分野における知識表現と処理を単一化・統合する枠組み、SP知能理論を提示する。その核となるのは、バイオインフォマティクスに由来するパターン一致と圧縮メカニズムであるSP-複数一致（SP-multiple-alignment）を用いたSPシステムであり、最小限のデータで多様で透明性があり、頑健な学習を可能にし、深層学習の主な限界である崩壊的忘却や不透明性を回避する。

ABSTRACT

This article provides a brief introduction to the "Theory of Intelligence" and its realisation in the "SP Computer Model". The overall goal of the SP programme of research, in accordance with long-established principles in science, has been the simplification and integration of observations and concepts across artificial intelligence, mainstream computing, mathematics, and human learning, perception, and cognition. In broad terms, the SP system is a brain-like system that takes in "New" information through its senses and stores some or all of it as "Old" information. A central idea in the system is the powerful concept of "SP-multiple-alignment", borrowed and adapted from bioinformatics. This the key to the system's versatility in aspects of intelligence, in the representation of diverse kinds of knowledge, and in the seamless integration of diverse aspects of intelligence and diverse kinds of knowledge, in any combination. There are many potential benefits and applications of the SP system. It is envisaged that the system will be developed as the "SP Machine", which will initially be a software virtual machine, hosted on a high-performance computer, a vehicle for further research and a step towards the development of an industrial-strength SP Machine.

研究の動機と目的

• 人工知能、コンピューティング、数学、人間の認知の分野における多様な概念を、単一の理論的枠組みへ単純化・統合すること。
• 特に深層学習に見られる透明性の欠如、崩壊的忘却、大量のデータ要件といった、既存のAIシステムの根本的限界に対処すること。
• 情報圧縮によるパターン一致と統合という単一の統一的原則を通じて、多様な知識タイプと知能的行動のシームレスな統合を可能にするシステムの開発。
• 計算的に根拠のある解釈可能なアーキテクチャを用いて認知プロセスをモデル化することで、一般化された人間らしい知能の基盤を提供すること。
• 過去の知識を損なうことなく新しい知識を習得する継続的かつ教師なしの学習を可能にし、崩壊的忘却の罠を回避すること。

提案手法

• SPシステムは、冗長性を低減しつつ表現力を保持するため、パターンの一致と統合による情報圧縮というコアな原則に従う。
• SP-複数一致はバイオインフォマティクスから取り入れられ、共通の構造を持つ複数のパターン（例：配列、概念）を整列させることで、柔軟な知識表現と統合を可能にする。
• システムは「新規」情報を受け取ると、階層的構造を用いて「旧規」知識として保存する。この構造はクラス包含関係や部分-全体関係をサポートする。
• 学習は、教師なしのパターン発見と圧縮によって行われ、重複または類似するパターンが同定・統合され、一般化され、コンactな表現が形成される。
• システムはすべての処理ステップの完全な監査証跡を維持しており、知識表現と推論の透明性と解釈可能性を保証する。
• アーキテクチャは継続的学習をサポートするように設計されており、新しい知識が以前に保存された知識を損なわず統合可能であり、崩壊的忘却を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 情報圧縮によるパターン一致と統合という単一の統一的原則が、AI、認知、計算の分野における多様な知能的側面の基盤として機能しうるか？
• RQ2 SP-複数一致は、階層的、関係的、論理的といった異なる知識タイプを、単一の整合的な枠組み内でどのようにシームレスに統合できるか？
• RQ3 SPシステムは、大規模なラベル付きデータセットや教師の指導を必要とせず、どの程度頑健でデータ効率の良い学習を達成できるか？
• RQ4 SPシステムは継続的学習中に崩壊的忘却をどのように回避するのか？また、古い知識の安定性を保証するメカニズムは何か？
• RQ5 SPシステムは、深層学習の「ブラックボックス」問題を克服するため、知識と推論プロセスの透明性・解釈可能性をどの程度提供できるか？

主な発見

• SPシステムは、パターン一致と統合による情報圧縮が、多様な認知的および計算的プロセスを統合的に扱う強力なメカニズムであることを示している。
• SP-複数一致により、システムはクラス包含の階層、部分-全体構造、関係的データといった、多様な知識タイプを、単一のフレームワーク内でシームレスに表現・統合できる。
• 計算モデルの実験により、深層学習に比べてはるかに少ないデータと計算リソースで教師なし学習を達成している。
• SPシステムは、新しい学習が既存の知識を上書きまたは破壊しないため、長期にわたり知識の安定性を維持している。
• SPシステムにおける知識表現と処理は完全に透明であり、完全な監査証跡が確保されており、人間による推論ステップの理解と検証が可能である。
• 「汚れたデータ」からの学習や過剰・不十分な一般化の是正に、システムのアプローチは圧縮というコアな原則に基づいており、一般化問題に対する理論的に整合性のある解決策を提供する。