[论文解读] Introduction to the SP theory of intelligence

J. Gerard Wolff|arXiv (Cornell University)|Feb 24, 2018

Computability, Logic, AI Algorithms参考文献 18被引用 4

一句话总结

本文介紹了智能的SP理論，這是一套統一的框架，用於簡化並整合人工智慧、計算、數學與人類認知中的知識表達與處理。其核心在於SP系統使用SP多重對齊——一種受生物資訊學啟發的模式匹配與壓縮機制——以實現多功能、透明且穩健的學習，且僅需極少數據，從而避免深度學習的關鍵限制，如災難性遗忘與不透明性。

ABSTRACT

This article provides a brief introduction to the "Theory of Intelligence" and its realisation in the "SP Computer Model". The overall goal of the SP programme of research, in accordance with long-established principles in science, has been the simplification and integration of observations and concepts across artificial intelligence, mainstream computing, mathematics, and human learning, perception, and cognition. In broad terms, the SP system is a brain-like system that takes in "New" information through its senses and stores some or all of it as "Old" information. A central idea in the system is the powerful concept of "SP-multiple-alignment", borrowed and adapted from bioinformatics. This the key to the system's versatility in aspects of intelligence, in the representation of diverse kinds of knowledge, and in the seamless integration of diverse aspects of intelligence and diverse kinds of knowledge, in any combination. There are many potential benefits and applications of the SP system. It is envisaged that the system will be developed as the "SP Machine", which will initially be a software virtual machine, hosted on a high-performance computer, a vehicle for further research and a step towards the development of an industrial-strength SP Machine.

研究动机与目标

• 將人工智慧、計算、數學與人類認知中的多樣概念簡化並整合為一個統一的理論框架。
• 解決現有人工智慧系統（特別是深度學習）的根本限制，例如缺乏透明度、災難性遺忘與高數據需求。
• 開發一個系統，透過單一統一原則——透過模式匹配與統一進行資訊壓縮——實現多種知識類型與智能行為的無縫整合。
• 透過建模認知過程的計算基礎、可解釋的架構，為通用人類級智能提供基礎。
• 實現持續的、非監督式學習，同時保留舊知識並獲取新知識，避免災難性遺忘的陷阱。

提出的方法

• SP系統使用資訊壓縮的核心原則，透過模式的匹配與統一來減少冗餘，同時保留表達能力。
• SP多重對齊源自生物資訊學，用於對齊共享共同結構的多個模式（例如序列、概念），從而實現靈活的知識表達與整合。
• 系統透過將新資訊存儲為舊知識來處理輸入的「新」資訊，使用支援類別包含與整體-部分關係的層次結構。
• 學習透過非監督式模式發現與壓縮進行，系統識別並合併冗餘或相似的模式，以形成一般化、緊湊的表示。
• 系統維持所有處理步驟的完整審計紀錄，確保知識表達與推理過程的透明度與可解釋性。
• 架構設計支援持續學習，新知識的整合不會干擾先前儲存的知識，從而避免災難性遺忘。

实验结果

研究问题

• RQ1 單一統一原則——透過模式匹配與統一進行資訊壓縮——是否可作為人工智慧、認知與計算中多樣智能特徵的基礎？
• RQ2 SP多重對齊如何在單一一致的框架中實現不同類型知識（例如層次結構、關係結構、邏輯資料）的無縫整合？
• RQ3 SP系統在多大程度上能實現穩健、資料效率高的學習，而無需大量標記資料集或教師監督？
• RQ4 SP系統如何在持續學習中避免災難性遺忘？其確保舊知識穩定性的機制為何？
• RQ5 SP系統能否提供透明、可解釋的知識與推理過程表示，從而克服深度學習的「黑箱」問題？

主要发现

• SP系統顯示，透過模式匹配與統一進行資訊壓縮，是一種強大且統一的機制，適用於多樣的認知與計算過程。
• SP多重對齊使系統能以單一框架無縫表示與整合多種知識類型，例如類別包含層次、整體-部分結構與關係資料。
• 實驗顯示，SP系統以顯著較少的資料與計算資源實現非監督式學習，遠低於深度學習的消耗。
• 由於新學習不會覆蓋或干擾既有知識，SP系統避免了災難性遺忘，長期維持知識穩定性。
• SP系統中的知識表達與處理完全透明，具有完整的審計紀錄，使人類能理解與驗證推理步驟。
• 系統對「髒資料」的學習與對過度與不足一般化的修正，均建立於壓縮的核心原則之上，為一般化問題提供理論上穩固的解決方案。