[논문 리뷰] Introduction to the SP theory of intelligence

J. Gerard Wolff|arXiv (Cornell University)|2018. 02. 24.

Computability, Logic, AI Algorithms참고 문헌 18인용 수 4

한 줄 요약

이 논문은 인공지능, 계산, 수학 및 인간 인지 분야에서 지식 표현과 처리를 단순화하고 통합하는 통합 프레임워크인 SP 지능 이론을 소개한다. 핵심적으로, SP 시스템은 생물정보학에서 영감을 얻은 패턴 매칭 및 압축 메커니즘인 SP-다중정렬을 사용하여, 최소한의 데이터로도 다양한, 투명하고 견고한 학습을 가능하게 하며, 기계학습의 주요 한계인 치명적인 잊음과 투명성 부족 문제를 피한다.

ABSTRACT

This article provides a brief introduction to the "Theory of Intelligence" and its realisation in the "SP Computer Model". The overall goal of the SP programme of research, in accordance with long-established principles in science, has been the simplification and integration of observations and concepts across artificial intelligence, mainstream computing, mathematics, and human learning, perception, and cognition. In broad terms, the SP system is a brain-like system that takes in "New" information through its senses and stores some or all of it as "Old" information. A central idea in the system is the powerful concept of "SP-multiple-alignment", borrowed and adapted from bioinformatics. This the key to the system's versatility in aspects of intelligence, in the representation of diverse kinds of knowledge, and in the seamless integration of diverse aspects of intelligence and diverse kinds of knowledge, in any combination. There are many potential benefits and applications of the SP system. It is envisaged that the system will be developed as the "SP Machine", which will initially be a software virtual machine, hosted on a high-performance computer, a vehicle for further research and a step towards the development of an industrial-strength SP Machine.

연구 동기 및 목표

• 인공지능, 계산, 수학 및 인간 인지 분야의 다양한 개념을 단일 이론적 프레임워크로 단순화하고 통합하는 것.
• 특히 깊이 학습의 핵심적 한계인 투명성 부족, 치명적인 잊음, 높은 데이터 요구량 등의 문제를 해결하는 것.
• 정보 압축을 통한 패턴 매칭 및 통합이라는 단일 통합 원칙을 통해 다양한 지식 유형과 지능적 행동을 원활하게 통합할 수 있는 시스템을 개발하는 것.
• 계산적으로 기반을 두고 해석 가능한 아키텍처를 통해 인지 과정을 모델링하여 일반적인 인간 수준의 지능을 위한 기반을 마련하는 것.
• 기존 지식을 손상시키지 않고 새로운 지식을 습득할 수 있는 지속적인 비지도 학습을 가능하게 하여 치명적인 잊음의 문제를 피하는 것.

제안 방법

• SP 시스템은 패턴의 매칭과 통합을 통해 정보 압축의 핵심 원리를 사용하여 재중복을 줄이고 표현력을 유지한다.
• SP-다중정렬은 생물정보학에서 유래하여 공통적인 구조를 공유하는 여러 패턴(예: 시퀀스, 개념)을 정렬함으로써, 융통성 있는 지식 표현 및 통합을 가능하게 한다.
• 시스템은 들어오는 '신규' 정보를 '기존' 지식으로 저장하며, 계층적 구조를 통해 클래스 포함 및 부분-전체 관계를 지원한다.
• 학습은 비지도 패턴 탐색 및 압축을 통해 이루어지며, 중복되거나 유사한 패턴을 식별하고 통합하여 일반화된 압축된 표현을 형성한다.
• 시스템은 모든 처리 단계의 완전한 감사 기록을 유지하여 지식 표현 및 추론의 투명성과 해석 가능성 보장한다.
• 아키텍처는 지속적인 학습을 지원하도록 설계되어, 새로운 지식이 이전에 저장된 지식을 손상시키지 않도록 하여 치명적인 잊음을 방지한다.

실험 결과

연구 질문

• RQ1 정보 압축을 통한 패턴 매칭 및 통합이라는 단일 통합 원칙이 AI, 인지 및 계산 분야의 다양한 지능적 요소에 기초가 될 수 있는가?
• RQ2 SP-다중정렬은 어떻게 다양한 지식 유형(예: 계층적, 관계적, 논리적)을 단일 통합 프레임워크 내에서 원활하게 통합할 수 있는가?
• RQ3 SP 시스템은 대규모 레이블이 붙은 데이터셋이나 교사 지도 없이도 얼마나 높은 데이터 효율성으로 견고한 학습을 달성할 수 있는가?
• RQ4 SP 시스템은 지속적인 학습 중에 치명적인 잊음을 어떻게 방지하며, 오래된 지식의 안정성을 확보하는 메커니즘은 무엇인가?
• RQ5 SP 시스템은 깊이 학습의 '블랙박스' 문제를 해결하기 위해 지식 및 추론 과정의 투명하고 해석 가능한 표현을 제공할 수 있는가?

주요 결과

• SP 시스템은 패턴 매칭 및 통합을 통한 정보 압축이 다양한 인지적 및 계산적 과정에 강력한 통합 메커니즘을 제공함을 입증한다.
• SP-다중정렬은 시스템이 클래스 포함 계층, 부분-전체 구조, 관계적 데이터와 같은 다양한 지식 유형을 단일 프레임워크 내에서 원활하게 표현하고 통합할 수 있도록 한다.
• 실험을 통해 계산 모델을 활용한 결과, SP 시스템은 깊이 학습보다 훨씬 적은 데이터와 계산 자원으로도 비지도 학습을 달성한다.
• SP 시스템은 새로운 학습이 기존 지식을 덮어쓰거나 손상시키지 않기 때문에 치명적인 잊음을 피하며, 시간이 지남에 따라 안정성을 유지한다.
• SP 시스템의 지식 표현 및 처리는 완전한 감사 기록을 통해 완전히 투명하며, 인간이 추론 단계를 이해하고 검증할 수 있도록 한다.
• SP 시스템은 '더러운 데이터'에서 학습하고 과도한 일반화 및 부족한 일반화를 수정하는 방식이 핵심 원리인 압축에 기반하여, 일반화 문제에 대해 이론적으로 타당한 해결책을 제공한다.