[論文レビュー] The Alberta Plan for AI Research

Richard S. Sutton, Michael Bowling+1 more|arXiv (Cornell University)|Aug 23, 2022

Scientific Computing and Data Management被引用数 7

ひとこと要約

アーサルト・プランは、複雑で非定常な環境において継続的かつ時間的に一様な学習を実現する人工知能の発展を長期的ビジョンとして提唱する。知能を時間的信号処理として捉え、観察、行動、報酬信号のみを用いてリアルタイムで学習・計画・適応を遂げるエージェントの設計を重視し、スケーラビリティ、計算効率、外部からの監視やドメイン特化された設計への依存の最小化といった根幹的原則を有する。

ABSTRACT

Herein we describe our approach to artificial intelligence research, which we call the Alberta Plan. The Alberta Plan is pursued within our research groups in Alberta and by others who are like minded throughout the world. We welcome all who would join us in this pursuit.

研究の動機と目的

• 複雑で動的な環境と相互作用する長期間にわたる自律的エージェントを通じて、計算知能の基礎的理解を獲得すること。
• 静的でタスク特化型の訓練に代わって、継続的学習と適応に焦点を当てることで、現在のAIシステムの限界を克服すること。
• 観察、行動、報酬といった原始的な感覚経験に基づいてすべての学習を根拠とすることで、人為的監視やドメイン特化知識への依存を低減すること。
• 時間的に一様な—すなわち、すべての時間ステップで同一に動作する—アルゴリズムとアーキテクチャを優先することで、設計を単純化し、スケーラビリティを高めること。
• 自己改善型エージェントを通じて、メタラーニング、内発的興味、知能拡張といった高次認知機能の出現を探索すること。

提案手法

• エージェントが環境から観察と報酬信号を受信し、これらの信号を制御する行動をとることで、知能を継続的相互作用プロセスとしてモデル化すること。
• 時間的一致性の実装：学習、計画、表現構築がすべての時間ステップで行われ、特別な訓練フェーズや特権情報が不要であること。
• 報酬を超える時間的に拡張された信号の推定を可能にする一般化価値関数（例：一般化価値関数）を用いることで、より豊かな世界モデルの構築を支援すること。
• 環境の変化に応じて動的に調整される学習率を備えたメタアルゴリズムと継続的学習のための手法を開発し、優先スイーピングや時間的信用配分といったメカニズムを活用すること。
• 長期間計画とモジュラーなスキル習得を可能にする階層的構造とオプションベースの構造を導入し、共に適応するエージェントが計算的エクストラコルティクスを形成すること。
• スケーラブルな関数近似と最適化技術（例：Adam、バッチ正規化）を活用して、高次元空間における効率的学習を支援すること。

実験結果

リサーチクエスチョン

• RQ1 人工エージェントは、非定常的で部分的に観測可能な環境と継続的に相互作用することで、どのように長期的かつ安定した知能を達成できるか？
• RQ2 特別な訓練フェーズがなく、時間的に一様に学習・計画・適応を遂げられるエージェントを実現するための最小限のアルゴリズム的・アーキテクチャ的原則は何か？
• RQ3 観察、行動、報酬信号のみを用いて、エージェントと環境の相互作用からどのように内発的興味と自己教師付き学習が出現するか？
• RQ4 メタラーニングと動的学習率は、時間的一致性を保ちつつ、エージェントが環境の変化に適応する能力をどのように向上させるか？
• RQ5 知能拡張は、特に人間エージェント間またはマルチエージェントシステムにおいて、どのように形式化され実現可能となるか？

主な発見

• 学習と計画における時間的一致性は、よりスケーラブルで、より頑健かつ一般化可能なエージェント設計をもたらし、設計の複雑さを低減するとともに適応性を向上させる。
• 一般化価値関数（GVFs）は、報酬を超える時間的に拡張された信号の推定を可能にし、より豊かな世界モデルと改善された計画能力を支援する。
• 優先スイーピングや適応的最適化（例：Adam、RMSprop）といったメタアルゴリズムは、非定常環境におけるサンプル効率と学習速度を顕著に向上させる。
• オプションと階層的構造の使用により、明示的なタスク定義がなくても、スキルの効率的習得と組み合わせが可能になり、長期間計画が可能になる。
• 共に適応するエージェント—特に1つのエージェントがもう1つのエージェントの計算的エクストラコルティクスとして機能する—を介した知能拡張は、人間エージェント間およびエージェント間の両方の状況で、乗法的知能向上の可能性を示している。
• 特別な訓練フェーズがなく、外部監視に依存しないことにより、スケーラブルで一般化可能なシステムが得られ、AI研究における「悲劇の教訓（The Bitter Lesson）」の原則と整合する。