[논문 리뷰] Information Compression by Multiple Alignment, Unification and Search as a Unifying Principle in Computing and Cognition

J. Gerard Wolff|ArXiv.org|2003. 07. 10.

Computability, Logic, AI Algorithms참고 문헌 24인용 수 8

한 줄 요약

이 논문은 계산과 인지의 통합 원리로 정보 압축을 위한 다중 정렬, 통합 및 검색(이하 ICMAUS)을 제안한다. 패턴 매칭, 유사한 구조의 융합, 휴리스틱 검색을 통해 효율적인 정보 압축을 가능하게 한다. 이 프레임워크는 문장 학습에서 확률적 추론에 이르기까지 다양한 인지적 및 계산적 작업을 수행할 수 있으며, 문법과 데이터 인코딩 크기의 합을 최소화함으로써 기능한다. SP61 소프트웨어 모델을 통한 실증적 검증을 통해 인공지능, 인지과학, 지식 표현 분야에서 광범위한 적용 가능성을 입증하였다.

ABSTRACT

This article presents an overview of the idea that "information compression by multiple alignment, unification and search" (ICMAUS) may serve as a unifying principle in computing (including mathematics and logic) and in such aspects of human cognition as the analysis and production of natural language, fuzzy pattern recognition and best-match information retrieval, concept hierarchies with inheritance of attributes, probabilistic reasoning, and unsupervised inductive learning. The ICMAUS concepts are described together with an outline of the SP61 software model in which the ICMAUS concepts are currently realised. A range of examples is presented, illustrated with output from the SP61 model.

연구 동기 및 목표

• 인공지능, 인지과학, 계산 시스템 분야에서 ICMAUS를 통합 원리로 제안하기.
• 패턴 정렬 및 통합을 통한 정보 압축이 인지 기능의 핵심 요소인 지각, 언어 이해, 학습과 같은 기능을 뒷받침한다는 것을 입증하기.
• 총 메시지 길이(문법 + 데이터 인코딩)를 최소화함으로써, 교사 피드백이나 부정적 예시 없이도 효과적인 유도 학습이 가능하다는 것을 보여주기.
• 테스트 및 응용을 위한 ICMAUS의 계산적 실현을 SP61 소프트웨어 모델을 통해 제공하기.
• 복잡하고 계층적이며 상호의존적인 지식 구조를 다루는 데서 기존 모델(예: HMM, 베이지안 네트워크)에 비해 더 유연한 대안으로 ICMAUS를 위치시키기.

제안 방법

• 다양한 입력 간 공통 구조를 식별하기 위해 패턴의 다중 정렬을 사용하며, 이는 계산생물학에서의 서열 정렬과 유사하지만, 기호적 및 의미적 패턴으로 일반화된 것이다.
• 유사하거나 일치하는 패턴을 통합하여 하나의 더 추상화된 표현으로 융합함으로써 중복을 줄이고 정보를 압축한다.
• 고도로 효율적인 고압축 솔루션을 찾기 위해 휴리스틱 및 제약 조건에 따라 가능한 정렬 및 통합에 대한 검색을 유도한다.
• SP61 모델은 오래된 일반화된 패턴의 저장소를 유지하고, 새로운 입력을 정렬 및 통합을 통해 동적으로 통합함으로써 ICMAUS를 구현한다.
• 정보 압축은 최소 길이 인코딩(MLE)을 통해 수식화되며, 총 비용(G + E)이 문법(G)과 인코딩된 데이터(E)의 합으로 최소화되어 단순성과 기술적 표현력의 균형을 이룬다.
• 통계적 확률은 패턴에 부착된 빈도 수를 기반으로 추정되며, 사전에 정의된 조건부 확률 표가 필요 없이도 확률적 추론이 가능하게 한다.

실험 결과

연구 질문

• RQ1 패턴 정렬, 통합 및 검색을 통한 정보 압축이 계산 및 인지 분야의 다양한 영역에서 통합 원리로 작용할 수 있는가?
• RQ2 교사 피드백이나 부정적 예시가 없는 상황에서 ICMAUS는 어떻게 비지도 유도 학습을 지원하는가?
• RQ3 ICMAUS는 복잡한 상호의존성을 표현하는 데서 기존 모델(예: 은닉 마르코프 모델, 베이지안 네트워크)에 비해 어떤 방식으로 슈퍼리어하거나 보완적인가?
• RQ4 ICMAUS 프레임워크에서 반복적인 정렬 및 통합을 통해 계층적이고 재귀적인 구조는 어떻게 구축되는가?
• RQ5 ICMAUS는 개념 형성, 지각, 언어 습득과 같은 인간 유사 인지 과정을 어느 정도 모델링할 수 있는가?

주요 결과

• ICMAUS는 교사 없이도 언어 학습을 성공적으로 모델링하며, 어린이가 제한된 입력에서 총 메시지 길이를 최소화함으로써 문법 규칙을 일반화할 수 있음을 설명한다.
• SP61 모델은 다중 정렬 및 통합을 통해 계층적 개념 구조를 생성함을 입증하였으며, 예를 들어 '온혈동물'이나 '긴 목' 등의 공통 속성을 가진 조류 분류와 같은 사례에서 이를 확인할 수 있다.
• ICMAUS는 자연어 문법의 복잡한 의존성, 예를 들어 상호 연결된 돕는 동사 구조를 베이지안 네트워크나 HMM보다 더 민첩하게 처리할 수 있다.
• HMM과 달리 관측치 간 마르코프 독립성을 가정하지 않기 때문에, ICMAUS는 패턴 구조를 통해 임의의 의존성을 표현할 수 있으며, 비마르코프 데이터에 적합하다.
• 베이지안 네트워크에서 전형적인 조건부 확률 표 대비 패턴 빈도 수에서 유도된 빈도 기반 확률 추정을 사용함으로써 더 단순하고 확장 가능한 대안을 제공한다.
• SP61 모델의 실증 결과에 따르면, ICMAUS는 최소한의 계산 오버헤드로 최적 매칭 정보 검색, 흐린 패턴 인식, 상속 기반 개념 계층 구조를 모두 지원한다.