[论文解读] Information Compression, Intelligence, Computing, and Mathematics

J. Gerard Wolff|arXiv (Cornell University)|Oct 31, 2013

Computability, Logic, AI Algorithms参考文献 32被引用 7

一句话总结

本文提出，通过模式匹配与合一实现的信息压缩，是人工智能、人类认知、计算和数学的基石。论文提出了SP智能理论，展示了通过模式合一实现的压缩如何在不同领域中实现高效的知识表示、学习、感知与计算。

ABSTRACT

This paper presents evidence for the idea that much of artificial intelligence, human perception and cognition, mainstream computing, and mathematics, may be understood as compression of information via the matching and unification of patterns. This is the basis for the "SP theory of intelligence", outlined in the paper and fully described elsewhere. Relevant evidence may be seen: in empirical support for the SP theory; in some advantages of information compression (IC) in terms of biology and engineering; in our use of shorthands and ordinary words in language; in how we merge successive views of any one thing; in visual recognition; in binocular vision; in visual adaptation; in how we learn lexical and grammatical structures in language; and in perceptual constancies. IC via the matching and unification of patterns may be seen in both computing and mathematics: in IC via equations; in the matching and unification of names; in the reduction or removal of redundancy from unary numbers; in the workings of Post's Canonical System and the transition function in the Universal Turing Machine; in the way computers retrieve information from memory; in systems like Prolog; and in the query-by-example technique for information retrieval. The chunking-with-codes technique for IC may be seen in the use of named functions to avoid repetition of computer code. The schema-plus-correction technique may be seen in functions with parameters and in the use of classes in object-oriented programming. And the run-length coding technique may be seen in multiplication, in division, and in several other devices in mathematics and computing. The SP theory resolves the apparent paradox of "decompression by compression". And computing and cognition as IC is compatible with the uses of redundancy in such things as backup copies to safeguard data and understanding speech in a noisy environment.

研究动机与目标

• 将通过模式匹配与合一实现的信息压缩确立为人工智能、人类认知、计算和数学的统一原理。
• 通过阐明压缩表示如何支持高效检索与推理，解决‘通过压缩实现解压缩’这一表观悖论。
• 证明冗余——通常被视为与压缩相悖——在SP理论中不仅兼容，甚至由该理论所支持，例如在容错与数据备份中的应用。
• 主张信息压缩的基本机制（ICMUP）可作为数学本身的基石，而非依赖于传统的公理体系。
• 通过感知、语言、编程和形式系统等领域的多样实例，提供SP理论的实证与理论支持。

提出的方法

• 提出ICMUP（通过模式匹配与合一实现的信息压缩）作为减少信息冗余的核心机制。
• 将ICMUP应用于建模感知，包括双眼视觉、视觉适应与知觉恒常性，通过合并相似的感官输入实现。
• 展示语言中的词汇与语法结构如何通过重复的模式合一形成，作为复杂概念的简写形式。
• 通过模式匹配与合一，建模数据库检索、Prolog推理与基于示例的查询等计算过程。
• 将分块编码（函数）、模式加修正（参数化函数与类）、以及运行长度编码（乘法、除法）等压缩技术，作为ICMUP的实例加以说明。
• 利用SP计算机模型模拟智能行为，展示压缩如何实现预测、学习与错误纠正。

实验结果

研究问题

• RQ1 通过模式合一实现的信息压缩，如何解释人类感知与认知的核心方面？
• RQ2 基于模式的压缩以何种方式构成计算基本机制（如数据库检索与符号推理）的基础？
• RQ3 SP理论如何调和冗余在容错能力（如嘈杂环境中的语音）中的作用与信息压缩中最小化冗余的目标之间的矛盾？
• RQ4 ICMUP原则能否作为数学的基础，而非依赖于传统的公理体系？
• RQ5 SP理论在多大程度上解决了智能系统中‘通过压缩实现解压缩’的悖论？

主要发现

• SP理论通过模式匹配与合一实现的信息压缩机制，为人工智能、认知、计算与数学中的多种现象提供了统一解释。
• 模式合一解释了诸如连续视图合并、双眼视觉与视觉适应等知觉现象，使系统在输入变化下仍能实现稳定感知。
• 语言中的缩略语与编程中的函数被证明是ICMUP的实例，有效减少冗余并提升效率。
• 如Prolog、基于示例的查询与通用图灵机的转移函数等计算机制，可被解释为ICMUP在信息检索与计算中的应用。
• 数学运算如乘法与除法则被解释为运行长度编码技术，说明压缩原理如何构成形式系统的基础。
• SP理论通过证明压缩表示仍能支持鲁棒、容错的检索与推理，解决了‘通过压缩实现解压缩’的悖论。