[论文解读] Driven by Compression Progress: A Simple Principle Explains Essential Aspects of Subjective Beauty, Novelty, Surprise, Interestingness, Attention, Curiosity, Creativity, Art, Science, Music, Jokes

Jürgen Schmidhuber|ArXiv.org|Dec 23, 2008

Leadership, Courage, and Heroism Studies被引用 3

一句话总结

本文提出，主观美感、好奇心、创造力和注意力源于一种最大化压缩进度的驱动力——即提升对感官数据的预测与压缩能力。通过将压缩进度视为内在奖励，该框架以统一原则解释了从艺术与音乐到科学发现与幽默的多种现象，其核心是学习驱动的主观有趣性。

ABSTRACT

I argue that data becomes temporarily interesting by itself to some self-improving, but computationally limited, subjective observer once he learns to predict or compress the data in a better way, thus making it subjectively simpler and more beautiful. Curiosity is the desire to create or discover more non-random, non-arbitrary, regular data that is novel and surprising not in the traditional sense of Boltzmann and Shannon but in the sense that it allows for compression progress because its regularity was not yet known. This drive maximizes interestingness, the first derivative of subjective beauty or compressibility, that is, the steepness of the learning curve. It motivates exploring infants, pure mathematicians, composers, artists, dancers, comedians, yourself, and (since 1990) artificial systems.

研究动机与目标

• 通过单一原则——压缩进度——解释为何某些刺激被感知为美丽、惊奇或有趣。
• 将好奇心形式化为内在驱动力，即发现能提升数据压缩效率的新规律。
• 在学习与预测的计算框架基础上，统一艺术、科学、音乐、笑话等多样现象。
• 为人工智能代理提供一种计算上坚实、可自我改进的机制，使其在无外部奖励的情况下主动探索与学习。
• 证明主观美感与有趣性自然源于可压缩性随时间变化的一阶导数。

提出的方法

• 使用算法信息论，将主观美感形式化为感官数据的可压缩程度。
• 将内在好奇心奖励定义为预测准确率或压缩效率随时间的提升速率。
• 采用强化学习框架，其中智能体并非因外部结果而获得奖励，而是因发现能降低数据复杂度的新规律而获益。
• 将压缩进度建模为描述观测数据的最短程序长度的变化，奖励与该改进程度成正比。
• 通过基于新观测更新内部模型的预测器或压缩器实现该框架，奖励与性能提升挂钩。
• 将该框架应用于人工智能代理，展示其如何驱动主动探索、注意力分配与创造性行为。

实验结果

研究问题

• RQ1 主观美感与有趣性如何基于数据压缩进行形式化定义？
• RQ2 为何人类与人工智能代理会认为某些模式令人惊奇或美丽，而忽略其他模式？
• RQ3 学习系统中好奇心与注意力的计算机制是什么？
• RQ4 创造力与艺术表达如何从提升数据压缩效率的驱动力中自然涌现？
• RQ5 同一原则能否解释音乐、笑话、科学发现与视觉艺术等多样现象？

主要发现

• 主观美感源于数据当前的可压缩程度，可压缩性越高，越被认为是美丽的。
• 主观有趣性被定义为可压缩性的一阶导数——即预测或压缩性能的提升速率。
• 好奇心自然地作为最大化压缩进度的驱动力而涌现，即使无外部奖励，也能引发主动探索。
• 艺术、音乐与笑话是压缩进度驱动力的副产品，因其利用了能实现高效编码的新颖规律。
• 该框架解释了为何人类与人工智能代理会将注意力集中于能带来新非任意规律的刺激。
• 该模型通过哥德尔机器（Gödel machines）提供了一套数学上严谨、自指涉的框架，实现学习智能体的最优自我改进。