[论文解读] Information Compression by Multiple Alignment, Unification and Search as a Unifying Principle in Computing and Cognition

J. Gerard Wolff|ArXiv.org|Jul 10, 2003

Computability, Logic, AI Algorithms参考文献 24被引用 8

一句话总结

本文提出通过多重对齐、统一与搜索实现的信息压缩（ICMAUS）作为计算与认知的统一原则，其中模式匹配、相似结构的合并以及启发式搜索使高效信息压缩成为可能。该框架通过最小化语法与数据编码总大小，支持从语言学习到概率推理等多样化认知与计算任务，SP61软件模型的实证验证表明其在人工智能、认知科学与知识表示领域具有广泛适用性。

ABSTRACT

This article presents an overview of the idea that "information compression by multiple alignment, unification and search" (ICMAUS) may serve as a unifying principle in computing (including mathematics and logic) and in such aspects of human cognition as the analysis and production of natural language, fuzzy pattern recognition and best-match information retrieval, concept hierarchies with inheritance of attributes, probabilistic reasoning, and unsupervised inductive learning. The ICMAUS concepts are described together with an outline of the SP61 software model in which the ICMAUS concepts are currently realised. A range of examples is presented, illustrated with output from the SP61 model.

研究动机与目标

• 提出ICMAUS作为人工智能、认知科学与计算系统统一原则。
• 证明通过模式对齐与统一实现的信息压缩是感知、语言理解与学习等核心认知功能的基础。
• 表明最小化总消息长度（语法 + 数据编码）可实现无需监督或反馈的有效归纳。
• 通过SP61软件模型实现ICMAUS的计算实现，以供测试与应用。
• 将ICMAUS定位为处理复杂、分层且相互依赖的知识结构时，对HMMs与贝叶斯网络等现有模型的灵活替代方案。

提出的方法

• 通过模式的多重对齐识别多样化输入中的共通结构，类比于生物信息学中的序列对齐，但推广至符号与语义模式。
• 统一将匹配或相似的模式合并为单一、更抽象的表示形式，以减少冗余并压缩信息。
• 通过启发式与约束引导对可能对齐与统一方案的搜索，以高效找到高效率压缩解。
• SP61模型通过维护旧的、泛化的模式库，并动态通过匹配与统一整合新输入，实现ICMAUS。
• 信息压缩通过最小长度编码（MLE）形式化，其中语法（G）与编码数据（E）的总成本（G + E）被最小化，以平衡简洁性与描述能力。
• 统计概率由附加于模式上的频率计数推导得出，实现无需预设条件概率表的概率推理。

实验结果

研究问题

• RQ1 通过模式对齐、统一与搜索实现的信息压缩，能否作为计算与认知中多样化领域统一原则？
• RQ2 在缺乏教师反馈或负样本的情况下，ICMAUS如何支持无监督归纳学习？
• RQ3 ICMAUS在表示复杂依赖关系方面，相较于HMMs与贝叶斯网络等传统模型，其优势或互补性体现在哪些方面？
• RQ4 在ICMAUS框架中，通过重复对齐与统一，如何构建分层与递归结构？
• RQ5 ICMAUS在多大程度上能模拟人类认知过程，如概念形成、感知与语言习得？

主要发现

• ICMAUS成功实现了无监督语言学习，解释了儿童如何通过最小化总消息长度，从有限输入中泛化语法规则。
• SP61模型表明，多重对齐与统一可生成分层概念结构，如鸟类分类中共享的属性（如‘温血’、‘长颈’）。
• ICMAUS在处理自然语言语法中的复杂依赖关系（如交错助动词结构）方面，比贝叶斯网络或HMMs更具灵活性。
• 与HMMs假设观测之间具有马尔可夫独立性不同，ICMAUS可通过模式结构表示任意依赖关系，适用于非马尔可夫数据。
• 该框架通过模式计数推导频率概率估计，为贝叶斯网络中全条件概率表提供更简单且可扩展的替代方案。
• SP61模型的实证结果表明，ICMAUS支持最佳匹配信息检索、模糊模式识别与基于继承的概念层次结构，且计算开销极低。