[論文レビュー] Goedel Machines: Self-Referential Universal Problem Solvers Making Provably Optimal Self-Improvements

Jürgen Schmidhuber|arXiv (Cornell University)|Jan 1, 2003

Computability, Logic, AI Algorithms参考文献 41被引用数 20

ひとこと要約

この論文は、自己参照的で普遍的な問題解決者、Godelマシンを紹介する。このマシンは、将来のパフォーマンスを向上させるという形式的証明が見つかった時点で、ソフトウェアの任意の部分を再書き換えすることで、自己改善を最適に保証する。確率的かつ反応的な環境で動作し、形式化された公理的体系と、計算可能証明技法の探索を行う証明探索者を用いて、限られたリソース下で最適性を保証する。漸近的制限は一切ない。

ABSTRACT

A Godel machine solves general computational problems in a possibly stochastic and reactive environment. Its initial software includes an axiomatic description of (1) the Godel machine's hardware, (2) known aspects of the environment, (3) goals and rewards to be achieved, (4) costs of actions and computations, (5) the initial soft- ware itself (no circularity involved here). It also includes a possibly sub-optimal initial problem-solving policy and a proof searcher searching the space of computable proof techniques—that is, programs whose outputs are proofs. Unlike previous approaches, the self-referential Godel machine will rewrite any part of its software (including ax- ioms and proof searcher) as soon as it has found a proof that this will improve its future performance. By definition, it produces optimal self-improvements, given arbi- trary formalized problems and typically limited computational resources; its optimality notion is not restricted to the concept of asymptotic optimality. To initialize the proof searcher we may use the recent Optimal Ordered Problem Solver.

研究の動機と目的

• 任意の計算環境において、証明可能に最適な自己改善を実行できる普遍的な問題解決エージェントの設計。
• 自己変更の非漸近的最適性基準を導入することで、漸近的最適性の制限を克服すること。
• 自己改善が形式的証明によって正当化されることを保証し、循環性を回避し、正しさを確保すること。
• コストを意識した計算と環境モデリングを統合的に統合した、自己改善エージェントのフレームワークの構築。
• 形式的証明によるパフォーマンス向上が示された場合に、自身の公理、証明探索者、初期方策を再定義できるようにすること。

提案手法

• Godelマシンは、ハードウェア、環境、目的、報酬、計算コストの形式的公理的記述を初期状態として持つ。
• 自己改善の証明を生成するために、計算可能証明技法の空間を体系的に探索する証明探索者を採用する。
• 自己改善のトリガーは、変更が将来のパフォーマンスを向上させることを証明した場合にのみ発生し、証明可能な最適性を保証する。
• 自己参照的アーキテクチャを用いることで、自身のコード（公理や証明探索メカニズムを含む）についての推論と変更が可能になる。
• 証明探索者は、最適順序問題ソルバ（Optimal Ordered Problem Solver）によって初期化され、証明空間の効率的探索が可能になる。
• エージェントの最適性は漸近的ではなく、リソース制約下での期待効用増加の観点から定義される。

実験結果

リサーチクエスチョン

• RQ1 普遍的な問題解決者が、確率的かつ反応的な環境で、証明可能に最適な自己改善を実行できるか？
• RQ2 循環性や不整合を引き起こさずに、自己変更を形式的に正当化する方法は何か？
• RQ3 証明探索者が、リソースを意識した最適な自己改善を実現するために果たす役割は何か？
• RQ4 自己改善の最適性基準を、漸近的限界を超えて有限で現実の計算リソースに拡張できるか？
• RQ5 エージェント自身の公理や証明探索メカニズムを、正しさと最適性を保持したまま変更する方法は何か？

主な発見

• Godelマシンは、パフォーマンス向上の形式的証明が得られた段階で、ソフトウェアの任意のコンponentを再書き換えることで、証明可能に最適な自己改善を達成する。
• 初期ソフトウェアが固定されており、自己参照的推論が形式的に根拠を持つため、自己改善中に循環性が生じないことを保証する。
• 最適性の概念は漸近的挙動に限定されず、有限で制限された計算リソースに対しても適用可能である。
• 最適順序問題ソルバによって初期化された証明探索者により、計算可能証明技法の空間を効率的に探索できる。
• 形式的証明に基づき、自身の公理、報酬構造、証明探索戦略を変更可能であり、正しさと最適性を保証する。
• 形式化され自己正当化可能な計算を通じて、任意の、おそらく確率的かつ反応的な環境における一般問題解決をサポートするフレームワークを提供する。