[論文レビュー] Optimal Ordered Problem Solver

Juergen Schmidhuber|ArXiv.org|Jul 31, 2002

Computability, Logic, AI Algorithms参考文献 52被引用数 10

ひとこと要約

最適順序問題ソルバー（OOPS）は、過去の問題からの解決策を再利用・適応することで、タスクの連鎖を理論的に最適に解く一般化されたアルゴリズムである。再帰的プログラム空間探索にバイアス最適化型ユニバーサルサーチを用い、メタサーチを通じた自己改善を可能にし、30枚のディスクを用いたハノイの塔のような複雑な問題において最大1000倍の高速化を達成する。

ABSTRACT

We present a novel, general, optimally fast, incremental way of searching for a universal algorithm that solves each task in a sequence of tasks. The Optimal Ordered Problem Solver (OOPS) continually organizes and exploits previously found solutions to earlier tasks, efficiently searching not only the space of domain-specific algorithms, but also the space of search algorithms. Essentially we extend the principles of optimal nonincremental universal search to build an incremental universal learner that is able to improve itself through experience. In illustrative experiments, our self-improver becomes the first general system that learns to solve all n disk Towers of Hanoi tasks (solution size 2^n-1) for n up to 30, profiting from previously solved, simpler tasks involving samples of a simple context free language.

研究の動機と目的

• 過去の問題からの解決策を再利用することで、次第に複雑化するタスクの連鎖を一般的かつ時間的に最適に解く手法を開発すること。
• ヒューリスティック的で非最適なユニバーサルサーチの段階的拡張の限界を克服し、過学習や非最適なバイアス適合を回避すること。
• 現実のコンピュータのリソース制限のもとで、効率的かつ再帰的なプログラム空間におけるバックトラッキングを可能にすること。
• 自己改善とメタサーチ（より速い探索手法を探す探索）を、ユニバーサル問題解決フレームワークに形式的に統合する方法を示すこと。
• OOPSに基づく強化学習およびスケーラブルで物理的に実現可能なユニバーサルソルバーの基盤を提供すること。

提案手法

• OOPSは、漸近的に最適な段階的でないユニバーサルサーチを用い、プログラムの長さと逆確率の順にテストする。各段階 $i$ において実行時間は $2^i P(p)$ で制限される。
• 計算可能関数を用いて、プログラム接尾辞上の確率分布を動的に変更することで、過去のタスク解決に基づくバイアス適合を可能にする。
• プログラム接頭辞は生成と同時に段階的に実行され、成功した解決策を保持するために書き込み不可のストレージが使用される。
• アルゴリズムは、タスク $1$ から $n$ までの全タスクに第二段階の探索時間の一部を時間共有する一方、第一段階は最新の成功したプログラムを接頭辞とするプログラムのテストに専 dedicated される。
• 再帰的バックトラッキング手順である「Try」により、プログラム空間探索中に変更されたストレージを時間的に最適にリセットできる。
• スタック操作、制御構造、バイアスシフトのプリミティブを備えた低レベルで自己区切り可能なプログラミング言語を定義し、ユニバーサル計算と自己修正を可能にする。

実験結果

リサーチクエスチョン

• RQ1 過去のタスクからの解決策を最適に再利用することで、より難しい新しいタスクを高速に解くことができる一般化された問題ソルバーを設計できるか？
• RQ2 過学習を回避しつつ、過去のタスク解決に基づいてプログラム上のバイアス分布を適応的かつ最適に更新する方法は何か？
• RQ3 現実のコンピュータ上で、プログラム空間における再帰的かつ時間的に最適なバックトラッキングの理論的・実用的妥当性は何か？
• RQ4 自己改善とメタサーチ（より速い探索戦略を探す探索）を、ユニバーサルソルバーに形式的に統合できる範囲はどの程度か？
• RQ5 ハノイの塔に30枚のディスクを用いた問題において、最小解のサイズが $10^9$ を超えるような状況で、OOPSの性能はどの程度スケーリングするか？

主な発見

• OOPSは、自己改善を通じて過去の解決策を再利用・適応することで、30枚のディスクを用いたハノイの塔のような複雑な問題において最大1000倍の高速化を達成する。
• アルゴリズムは、過去の解決策を再利用することで、一時的に接尾辞上の分布を再定義する接頭辞を発見する段階的学習を示している。
• 実験では、OOPSは文脈自由言語認識やハノイの塔を含むタスクの連鎖を正常に解き、再利用による測定可能な性能向上を示した。
• 再帰的「Try」手順により、限られたハードウェア上で効率的な探索に不可欠な、プログラム空間における時間的に最適なバックトラッキングが可能である。
• OOPSは、バイアス最適かつ漸近的に最適であることが証明されており、深く構造的な再利用を要する問題において、従来の強化学習エージェントやAIプランナーよりも優れた性能を発揮する。
• メモリや時間制限といった物理的制限が分析され、大規模な問題において、本フレームワークが本質的に破られない性能を示すことが示された。