[논문 리뷰] Unifying Computing and Cognition: The SP Theory and its Applications

J. Gerard Wolff|ArXiv.org|2004. 01. 13.

Computability, Logic, AI Algorithms참고 문헌 224인용 수 19

한 줄 요약

이 논문은 정보 압축, 다중 정렬, 확률적 추론을 통합하여 계산과 인지의 통합 프레임워크로 SP(Spherical Perception) 이론을 제안한다. SP 프레임워크가 정보 중복을 최소화함으로써 자연어 처리, 진단, 계획, 학습 등 다양한 인지 작업을 지원함을 보여주며, 순차 처리 시 계산 복잡도는 O(n·m), 병렬 환경에서는 O(n)임을 입증한다.

ABSTRACT

This book develops the conjecture that all kinds of information processing in computers and in brains may usefully be understood as "information compression by multiple alignment, unification and search". This "SP theory", which has been under development since 1987, provides a unified view of such things as the workings of a universal Turing machine, the nature of 'knowledge', the interpretation and production of natural language, pattern recognition and best-match information retrieval, several kinds of probabilistic reasoning, planning and problem solving, unsupervised learning, and a range of concepts in mathematics and logic. The theory also provides a basis for the design of an 'SP' computer with several potential advantages compared with traditional digital computers.

연구 동기 및 목표

• 정보 압축, 패턴 인식, 추론을 통합하는 계산과 인지의 통합 이론을 개발하는 것.
• 기존 모델이 인지 작업에서 모호성, 중복, 불확실성 처리에 한계를 보이는 문제를 해결하는 것.
• 자연어 처리, 의료 진단, 비지도 학습 등 다양한 분야에 SP 이론의 적용 가능성을 입증하는 것.
• 정보 이론과 확률에 기반한 형식적이고 계산적으로 효율적인 프레임워크를 구축하는 것.
• 신경 기반 타당성과 물리 개념의 재해석 가능성을 SP 이론의 시각에서 탐색하는 것.

제안 방법

• 지식 표현과 추론을 위해 기호적 구조의 다중 정렬을 사용하여 정보 중복을 최소화한다.
• 정보 압축을 통합 원리로 적용: 더 짧고 더 압축된 표현이 선호되며, 옥캄의 면도 원칙과 일치한다.
• 압축 효율성에 기반한 정렬의 확률적 평가를 수행하며, 확률은 압축 정도에 의해 유도된다.
• 순차 처리와 병렬 처리를 지원하는 계산 모델(SP61)을 활용하며, 순차 처리 시 복잡도는 O(n·m), 병렬 처리 시 O(n)이다.
• 다중 정렬을 통해 구조적 요소와 의미적 요소를 통합하여 자연어 처리의 문법적 및 의미적 처리를 수행한다.
• 뇌의 정렬, 학습, 표현 과정에 생물학적으로 타당한 과정을 제안하여 프레임워크를 신경 메커니즘과 연계한다.

실험 결과

연구 질문

• RQ1 정보 압축이 계산과 인지의 통합 원리로 어떻게 작용할 수 있는가?
• RQ2 다중 정렬과 압축 기반 추론이 언어 이해 및 진단과 같은 핵심 인지 과정을 재현할 수 있는가?
• RQ3 SP 프레임워크의 순차 및 병렬 처리 환경에서의 계산 복잡도는 어떻게 되는가?
• RQ4 베이지안 네트워크에 의존하지 않고 SP 이론이 비단조화적 추론, 추론적 추론, 인과적 진단을 어떻게 지원하는가?
• RQ5 SP 프레임워크의 정렬, 학습, 표현 과정을 뒷받침할 수 있는 신경 기반 메커니즘은 무엇인가?

주요 결과

• SP 프레임워크는 순차 처리 시 O(n·m) 시간 복잡도, 병렬 처리 시 O(n)을 기록하며, 실증 결과는 실질적으로 선형 스케일링을 지지한다.
• 다중 정렬을 통해 프랑스어 문법적 의존성과 영어 도구 동사 구조와 같은 모호한 언어적 구조를 효과적으로 처리한다.
• 압축 기반 정렬을 통해 의료 진단과 최적 매칭 정보 검색을 효과적으로 모델링하며, 부분-전체 관계와 상속 관계가 자연스럽게 표현된다.
• 압축 기반 평가를 통해 추론적 추론과 비단조화적 추론을 지원하며, 베이지안 네트워크에 대한 대안을 제공한다.
• SP 시스템은 비지도 학습(SP70)에서 뛰어난 성능을 보이며, 자연어 데이터에서 효과적인 패턴 발견이 가능함을 평가로 입증한다.
• 정렬과 학습을 위한 신경 기반 메커니즘이 생물학적으로 타당하다고 제안되며, 상징적 처리와 뇌 기능을 연결한다.