[논문 리뷰] Driven by Compression Progress: A Simple Principle Explains Essential Aspects of Subjective Beauty, Novelty, Surprise, Interestingness, Attention, Curiosity, Creativity, Art, Science, Music, Jokes

Jürgen Schmidhuber|ArXiv.org|2008. 12. 23.

Leadership, Courage, and Heroism Studies인용 수 3

한 줄 요약

이 논문은 주관적 아름다움, 호기심, 창의성, 주의 집중이 감각 데이터를 압축하는 데의 진전을 극대화하고자 하는 욕구에서 비롯된다고 제안한다. 즉, 예측 능력과 감축 능력을 향상시키는 것이다. 감축 진전을 내재된 보상으로 간주함으로써, 이 프레임워크는 예술, 음악, 과학적 발견, 유머에 이르기까지 다양한 현상을 학습 기반 주관적 흥미로운 성질을 통해 통합적으로 설명한다.

ABSTRACT

I argue that data becomes temporarily interesting by itself to some self-improving, but computationally limited, subjective observer once he learns to predict or compress the data in a better way, thus making it subjectively simpler and more beautiful. Curiosity is the desire to create or discover more non-random, non-arbitrary, regular data that is novel and surprising not in the traditional sense of Boltzmann and Shannon but in the sense that it allows for compression progress because its regularity was not yet known. This drive maximizes interestingness, the first derivative of subjective beauty or compressibility, that is, the steepness of the learning curve. It motivates exploring infants, pure mathematicians, composers, artists, dancers, comedians, yourself, and (since 1990) artificial systems.

연구 동기 및 목표

• 단일 원리인 감축 진전을 통해 왜 어떤 자극이 아름답거나 놀랍거나 흥미로운 것으로 인식되는지 설명하기.
• 감축 성능 향상에 기여하는 새로운 규칙성을 발견하고자 하는 내재된 욕구로서 호기심을 수식화하기.
• 학습과 예측 기반의 공통된 계산 프레임워크를 통해 예술, 과학, 음악, 농담 등 다양한 현상을 통합하기.
• 외부 보상 없이도 탐색과 학습을 수행할 수 있는 계산적으로 타당하고 자기 향상이 가능한 인공 에이전트의 메커니즘 제공하기.
• 주관적 아름다움과 흥미로움이 시간에 따른 압축 가능성의 1차 도함수로 자연스럽게 유도된다는 것을 보여주기.

제안 방법

• 알고리즘 정보 이론을 사용하여 감각 데이터의 압축 가능성 수준을 주관적 아름다움으로 수식화하기.
• 내재된 호기심 보상으로서 예측 정확도 또는 압축 효율성 향상의 속도를 정의하기.
• 외부 결과가 아니라 새로운 규칙성을 발견하여 데이터 복잡도를 감소시키는 데 성공한 경우에 보상을 주는 강화 학습 프레임워크 사용하기.
• 관측된 데이터를 묘사하는 가장 짧은 프로그램의 길이 변화로 감축 진전을 모델링하고, 이에 비례하는 보상을 부여하기.
• 새로운 관측치에 기반해 내부 모델을 업데이트하는 예측기 또는 압축기 구현하기. 보상은 성능 향상과 연결됨.
• 이 프레임워크를 인공 에이전트에 적용하여, 활동적 탐색, 주의 집중 배분, 창의적 행동을 이끄는 방식을 보여주기.

실험 결과

연구 질문

• RQ1 주관적 아름다움과 흥미로움은 어떻게 데이터 압축의 관점에서 수식화될 수 있는가?
• RQ2 왜 인간과 인공지능 에이전트는 일부 패턴은 놀랍거나 아름답게 느끼지만 다른 패턴은 무시하는가?
• RQ3 학습 시스템에서 호기심과 주의 집중의 계산적 메커니즘은 무엇인가?
• RQ4 창의성과 예술적 표현은 데이터 압축 향상에 대한 욕구에서 어떻게 유도되는가?
• RQ5 음악, 농담, 과학적 발견, 시각 예술과 같은 다양한 현상을 같은 원리로 설명할 수 있는가?

주요 결과

• 주관적 아름다움은 데이터의 현재 압축 가능성 수준에서 유도되며, 더 높은 압축 가능성은 더 아름답게 인식된다.
• 주관적 흥미로움은 압축 가능성의 1차 도함수로 정의되며, 즉 예측 또는 압축 성능 향상의 속도이다.
• 호기심은 감축 진전을 극대화하고자 하는 욕구로서 자연스럽게 유도되며, 외부 보상 없이도 활동적 탐색을 이끈다.
• 예술, 음악, 농담은 감축 진전 욕구의 부산물이며, 효율적인 인코딩을 가능하게 하는 새로운 규칙성을 활용한다.
• 이 프레임워크는 인간과 인공지능 에이전트가 새로운 비어 있지 않은 규칙성을 암시하는 자극에 주의를 기울이는 이유를 설명한다.
• 모델는 과학적 엄밀함을 갖춘 자기 참조적 프레임워크(고델 기계를 통해)를 제공하여 학습 에이전트의 최적 자기 향상 가능성을 보장한다.