[논문 리뷰] Information Compression, Intelligence, Computing, and Mathematics

J. Gerard Wolff|arXiv (Cornell University)|2013. 10. 31.

Computability, Logic, AI Algorithms참고 문헌 32인용 수 7

한 줄 요약

이 논문은 패턴 매칭과 통합을 통한 정보 압축이 인공지능, 인간 인지, 계산 및 수학의 핵심을 이룬다고 주장한다. SP 지능 이론을 제시하여 패턴 통합을 통한 압축이 다양한 분야에서 지식 표현, 학습, 인지 및 계산의 효율성을 가능하게 한다고 보여준다.

ABSTRACT

This paper presents evidence for the idea that much of artificial intelligence, human perception and cognition, mainstream computing, and mathematics, may be understood as compression of information via the matching and unification of patterns. This is the basis for the "SP theory of intelligence", outlined in the paper and fully described elsewhere. Relevant evidence may be seen: in empirical support for the SP theory; in some advantages of information compression (IC) in terms of biology and engineering; in our use of shorthands and ordinary words in language; in how we merge successive views of any one thing; in visual recognition; in binocular vision; in visual adaptation; in how we learn lexical and grammatical structures in language; and in perceptual constancies. IC via the matching and unification of patterns may be seen in both computing and mathematics: in IC via equations; in the matching and unification of names; in the reduction or removal of redundancy from unary numbers; in the workings of Post's Canonical System and the transition function in the Universal Turing Machine; in the way computers retrieve information from memory; in systems like Prolog; and in the query-by-example technique for information retrieval. The chunking-with-codes technique for IC may be seen in the use of named functions to avoid repetition of computer code. The schema-plus-correction technique may be seen in functions with parameters and in the use of classes in object-oriented programming. And the run-length coding technique may be seen in multiplication, in division, and in several other devices in mathematics and computing. The SP theory resolves the apparent paradox of "decompression by compression". And computing and cognition as IC is compatible with the uses of redundancy in such things as backup copies to safeguard data and understanding speech in a noisy environment.

연구 동기 및 목표

• 정보 압축을 통한 패턴 매칭과 통합을 인공지능, 인간 인지, 계산 및 수학 전반에 걸쳐 통합 원리로 정립하기.
• '압축을 통한 복원'이라는 명백한 역설을 해결하기 위해, 압축된 표현이 효율적인 검색과 추론을 지원하는 방식을 보여주기.
• 일반적으로 압축과 반대되는 것으로 간주되는 재현성(중복성)이 오류 내성 및 데이터 백업과 같은 응용 분야에서 SP 이론과 호환되며, 오히려 이를 가능하게 한다는 것을 보여주기.
• 정보 압축의 근본적 메커니즘(ICMUP)이 전통적인 공리계를 기반으로 하지 않고도 수학 자체의 기초가 될 수 있다는 주장을 펼치기.
• 인식, 언어, 프로그래밍, 형식 체계 등 다양한 예시를 통해 SP 이론에 대한 이론적 및 경험적 근거를 제공하기.

제안 방법

• 정보 압축을 통한 패턴 매칭과 통합(ICMUP)을 제안하여 정보 내의 중복을 줄이는 핵심 메커니즘으로 삼기.
• 유사한 감각 입력을 융합함으로써 이질적인 시각 입력 간의 융합, 이명시각, 시각적 일관성 등 인지 모델링에 ICMUP를 적용하기.
• 반복적인 패턴 통합을 통해 어휘 및 문법적 구조가 어떻게 형성되는지 보여주며, 복잡한 개념을 압축한 약어로 기능함을 설명하기.
• 패턴 매칭과 통합을 사용하여 데이터베이스 검색, Prolog 추론, 예시 기반 질의 등 계산 과정을 모델링하기.
• 코드를 사용한 청크화(함수), 체계와 수정 사항의 조합(파rameterized 함수 및 클래스), 런레인지 코딩(곱셈, 나눗셈)과 같은 압축 기법을 ICMUP의 사례로 제시하기.
• SP 컴퓨터 모델을 사용하여 지능적 행동을 시뮬레이션하고, 압축이 예측, 학습 및 오류 수정을 가능하게 한다는 것을 보여주기.

실험 결과

연구 질문

• RQ1 패턴 통합을 통한 정보 압축은 인간의 인지 및 인지의 핵심 요소를 어떻게 설명할 수 있는가?
• RQ2 패턴 기반 압축은 데이터베이스 검색 및 상징적 추론과 같은 계산의 기본 메커니즘을 어떻게 뒷받침하는가?
• RQ3 오류 내성(예: 소음 속의 음성)에서 중복성이 수행하는 역할과 정보 압축에서 중복 최소화의 목표 사이의 모순을 SP 이론은 어떻게 조화시킬 수 있는가?
• RQ4 ICMUP 원칙이 전통적인 공리계를 기반으로 하지 않고도 수학의 기초가 될 수 있는가?
• RQ5 SP 이론은 지능 시스템에서 '압축을 통한 복원'이라는 역설을 어느 정도 해결할 수 있는가?

주요 결과

• SP 이론은 패턴 매칭과 통합을 통한 정보 압축 메커니즘을 통해 인공지능, 인지, 계산 및 수학 분야의 다양한 현상을 통합적으로 설명한다.
• 패턴 통합은 연속적인 시야 융합, 이명시각, 시각적 적응과 같은 인지 현상을 설명하며, 입력 변화에도 불구하고 안정적인 인지 가능성을 가능하게 한다.
• 언어의 약어와 프로그래밍의 함수 사용은 모두 ICMUP의 사례로 나타나며, 중복성을 줄이고 효율성을 높인다.
• Prolog, 예시 기반 질의, 유니버설 튜링 기계의 전이 함수 등 계산 메커니즘은 정보 검색 및 계산에서 ICMUP의 적용 사례로 간주된다.
• 곱셈 및 나눗셈과 같은 수학적 연산은 런레인지 코딩 기법으로 해석되며, 이는 압축 원리가 형식 체계의 근간이 될 수 있음을 보여준다.
• SP 이론은 압축된 표현이 여전히 강건하고 오류 내성 있는 검색과 추론을 지원할 수 있음을 보여줌으로써 '압축을 통한 복원'의 역설을 해결한다.