[論文レビュー] Driven by Compression Progress: A Simple Principle Explains Essential Aspects of Subjective Beauty, Novelty, Surprise, Interestingness, Attention, Curiosity, Creativity, Art, Science, Music, Jokes

Jürgen Schmidhuber|ArXiv.org|Dec 23, 2008

Leadership, Courage, and Heroism Studies被引用数 3

ひとこと要約

この論文は、主観的な美しさ、好奇心、創造性、注意が、感覚データの圧縮進行を最大化するという欲求から生じると提案している。圧縮進行を内的報酬として扱うことで、芸術や音楽、科学的発見、ユーモアに至る多様な現象を、学習駆動型の主観的興味という統一的原理で説明できる。

ABSTRACT

I argue that data becomes temporarily interesting by itself to some self-improving, but computationally limited, subjective observer once he learns to predict or compress the data in a better way, thus making it subjectively simpler and more beautiful. Curiosity is the desire to create or discover more non-random, non-arbitrary, regular data that is novel and surprising not in the traditional sense of Boltzmann and Shannon but in the sense that it allows for compression progress because its regularity was not yet known. This drive maximizes interestingness, the first derivative of subjective beauty or compressibility, that is, the steepness of the learning curve. It motivates exploring infants, pure mathematicians, composers, artists, dancers, comedians, yourself, and (since 1990) artificial systems.

研究の動機と目的

• 圧縮進行という単一の原理を通じて、特定の刺激がなぜ美しく、驚き、興味深いと感じられるかを説明すること。
• 好奇心を、予測精度や圧縮効率の向上という新しい規則性を発見する内的動機として形式化すること。
• 芸術、科学、音楽、ジョークといった多様な現象を、学習と予測に基づく共通の計算フレームワークで統合すること。
• 外部報酬が不要な自己学習型の人工エージェントが探索と学習を効果的に行うための計算的に根拠のある自己向上メカニズムを提供すること。
• 主観的な美しさと興味の度合いが、圧縮可能性の時間的変化の1階微分として自然に生じることを示すこと。

提案手法

• アルゴリズム的情報理論を用いて、感覚データの圧縮可能性の度合いとして主観的な美しさを形式化すること。
• 内的報酬としての好奇心を、予測精度または圧縮効率の向上速度として定義すること。
• 外部の結果ではなく、データの複雑さを低下させる新しい規則性の発見に対して報酬を与える強化学習フレームワークを用いること。
• 観察されたデータを記述する最短プログラムの長さの変化として圧縮進行をモデル化し、報酬をこの改善割合に比例させること。
• 新しい観測に基づいて内部モデルを更新する予測子または圧縮器を用いてフレームワークを実装し、報酬を性能向上と結びつけること。
• 人工エージェントにこのフレームワークを適用し、それが能動的探索、注意の配分、創造的行動を引き起こすことを示すこと。

実験結果

リサーチクエスチョン

• RQ1 主観的な美しさと興味の度合いを、データ圧縮の観点から形式的に定義できるか？
• RQ2 なぜ人間や人工エージェントは特定のパターンを驚きや美しさとして認識するが、他のパターンは無視するのか？
• RQ3 学習システムにおける好奇心と注意の背後にある計算的メカニズムは何か？
• RQ4 創造性や芸術的表現は、データ圧縮の向上への欲求からどのように生じるのか？
• RQ5 同じ原理が、音楽、ジョーク、科学的発見、視覚芸術といった多様な現象を説明できるか？

主な発見

• 主観的な美しさは、データの現在の圧縮可能性の度合いに起因し、高い圧縮可能性はより美しいと感じられる。
• 主観的な興味の度合いは、圧縮可能性の1階微分として定義され、予測や圧縮性能の向上速度に相当する。
• 好奇心は圧縮進行を最大化するという欲求として自然に生じ、外部報酬がなくても能動的探索を促進する。
• 芸術、音楽、ジョークは、圧縮進行の欲求の副産物であり、それらは効率的な符号化を可能にする新しい規則性を利用している。
• このフレームワークは、人間や人工エージェントが、新しい非恣意的な規則性をもたらすと予想される刺激に注意を向ける理由を説明する。
• モデルは、ゲーデル・マシンを介して自己参照的で数学的に厳密なフレームワークを提供し、学習エージェントにおける最適な自己改善を実現する。