[論文レビュー] Bad Universal Priors and Notions of Optimality

Jan Leike, Marcus Hütter|arXiv (Cornell University)|Oct 16, 2015

Computability, Logic, AI Algorithms参考文献 15被引用数 45

ひとこと要約

この論文は、理論的に最適な強化学習エージェントであるAIXIが、特定の普遍ターミナルマシン（UTM）の選択によって著しく性能劣化を示すことを示しており、その提示された最適性の性質を根底から揺るがしている。Legg-Hutter知能とバランス型パレート最適性がUTMに依存するという事実により、AIXIは普遍的知能基準ではなく相対的な理論に過ぎないことが示された。

ABSTRACT

A big open question of algorithmic information theory is the choice of the universal Turing machine (UTM). For Kolmogorov complexity and Solomonoff induction we have invariance theorems: the choice of the UTM changes bounds only by a constant. For the universally intelligent agent AIXI (Hutter, 2005) no invariance theorem is known. Our results are entirely negative: we discuss cases in which unlucky or adversarial choices of the UTM cause AIXI to misbehave drastically. We show that Legg-Hutter intelligence and thus balanced Pareto optimality is entirely subjective, and that every policy is Pareto optimal in the class of all computable environments. This undermines all existing optimality properties for AIXI. While it may still serve as a gold standard for AI, our results imply that AIXI is a relative theory, dependent on the choice of the UTM.

研究の動機と目的

• AIXIの最適性の性質が普遍的ターミナルマシン（UTM）の選択に依存しないかを調査すること。
• 異なるUTMにおける重要な最適性概念（バランス型パレート最適性やLegg-Hutter知能など）の頑健性を評価すること。
• AIXIが人工一般知能の普遍的ベンチマークであるという仮定に疑問を呈し、UTM選択に依存することを暴露すること。
• すべての計算可能環境のクラスにおいて、いかなる方策もパレート最適であることを示し、標準的な最適性主張が空虚であることを証明すること。
• AIXIが十分な探索を行わないため、劣悪な事前分布による恒久的バイアスが生じ、理論的最適性が損なわれることを主張すること。

提案手法

• 特定のUTMを用いて、極端なエージェント行動を引き起こす2つの病理的普遍事前分布（無関心事前分布と教条的事前分布）を構築すること。
• 有限ホライズン設定下での無関心事前分布におけるAIXIの行動を分析し、すべての行動が同様に最適であることを示すこと。
• 教条的事前分布におけるAIXIの行動を分析し、報酬の減衰に関係なく固定方策に固執することを示すこと。
• Legg-Hutter知能がUTM選択に対して不変でないことを証明し、AIXIがUTMに応じて任意に最小または最大の知能スコアを達成できることを示すこと。
• すべての計算可能環境のクラスにおいて、いかなる計算可能方策もパレート最適であることを示し、パレート最適性が自明なものであることを証明すること。
• アルゴリズム的情報理論の不変性定理を用い、AIXIがこのような不変性を欠いているのに対し、コルモゴロフ複雑度やソロモンフ推論は不変性を有することを対比すること。

実験結果

リサーチクエスチョン

• RQ1 AIXIの最適性の性質は、普遍的ターミナルマシンのすべての選択に対して保持されるか？
• RQ2 Legg-Hutter知能は頑健で客観的な知能測定基準であるか、それともUTMの選択に依存するか？
• RQ3 AIXIが著しく誤動作するような普遍的事前分布は存在するか、すなわち有限ホライズン設定下でも同様か？
• RQ4 UTMが敵対的に選ばれた場合、バランス型パレート最適性はAIXIにとって意味のある最適性基準となるか？
• RQ5 すべての計算可能環境のクラスにおいて、いかなる計算可能方策もパレート最適と見なせるか、それにより概念が自明になってしまうか？

主な発見

• 有限ホライズンAIXIにおいて、無関心事前分布を構築することで、すべての行動が同等に望ましいとされ、完全な意思決定不能状態が生じる。
• 任意の計算可能方策πに対して、教条的事前分布を構築することで、AIXIは期待報酬が0に近くなりすぎない限り、常にπに従い続ける。
• Legg-Hutter知能はUTM選択に対して不変ではない：AIXIはUTMに応じて最小に近いか最大に近いかの知能スコアを達成できる。
• バランス型パレート最適性は主観的である：AIXIはすべての普遍的事前分布に対してバランス型パレート最適ではない。
• すべての計算可能環境のクラスにおいて、いかなる計算可能方策もパレート最適であるため、パレート最適性の概念は自明になり、AIXIの優位性に関する従来の主張は根底から揺るがされる。
• AIXIには不変性定理が存在しない。コルモゴロフ複雑度やソロモンフ推論とは異なり、AIXIはUTM選択に依存する相対的理論である。