[論文レビュー] Building Machines that Learn and Think for Themselves: Commentary on Lake et al., Behavioral and Brain Sciences, 2017

Matthew Botvinick, David G. T. Barrett+17 more|arXiv (Cornell University)|Nov 22, 2017

Reinforcement Learning in Robotics参考文献 23被引用数 5

ひとこと要約

本コメントでは、人間による設計を最小限に抑え、自己の内部モデルを学習・構築する自律的なAIエージェントの開発を提唱している。モデルベースの推論と自己教師あり学習の重要性を強調する。メタラーニング、ワールドモデル学習、階層的強化学習の分野における進展を強調し、事前に定義された形式的モデルを超えて現実世界の複雑さにスケーリングするには自律性が不可欠であると主張する。

ABSTRACT

We agree with Lake and colleagues on their list of key ingredients for building humanlike intelligence, including the idea that model-based reasoning is essential. However, we favor an approach that centers on one additional ingredient: autonomy. In particular, we aim toward agents that can both build and exploit their own internal models, with minimal human hand-engineering. We believe an approach centered on autonomous learning has the greatest chance of success as we scale toward real-world complexity, tackling domains for which ready-made formal models are not available. Here we survey several important examples of the progress that has been made toward building autonomous agents with humanlike abilities, and highlight some outstanding challenges.

研究の動機と目的

• 自律的なモデル構築を重視することで、人間水準の学習と推論に向けた人工知能の発展を図ること。
• エージェントが内部表現を独立して学習・活用できる仕組みを提供することで、手作業によるモデル設計への依存を低減すること。
• 形式的モデルが存在しない、あるいは設計が現実的でない現実世界の複雑さに対処すること。
• メタラーニング、ワールドモデル学習、階層的強化学習を含む自律学習システムの進展を調査すること。
• 堅牢で一般化可能な知能にまで至る自律エージェントのスケーリングにおける主要な課題を特定すること。

提案手法

• 少量のデータで新しいタスクに迅速に適応できるように、メタラーニング（少数例学習）を活用する。
• 将来の状態や結果をシミュレートする予測型ワールドモデルを通じて、ワールドモデル学習を実施する。
• 複雑なタスクを管理可能な部分目標や抽象化された方策に分解できるように、階層的強化学習を用いる。
• 構造的な表現を非構造化されたセンサー入力から抽出できるように、自己教師あり学習を統合する。
• 相互作用と経験を通じて、内部モデルの生成と改善を両方行えるエージェントを設計する。
• エンド・ツー・エンドの訓練を可能にするために、微分可能なニューラルネットワークと微分可能なワールドモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 AIエージェントは、人的な監視をほとんど受けずに、どのようにして内部モデルを自律的に構築・改善できるか？
• RQ2 どのようなメカニズムが、新しい未確認のタスクに少数の例から一般化できるようにするか？
• RQ3 複雑な環境において、階層的かつ構成的推論をエンド・ツー・エンドで学習するにはどうすればよいか？
• RQ4 予測型ワールドモデリングは、自律的かつ目的指向の行動を可能にする上で果たす役割は何か？
• RQ5 形式的モデルが欠如する現実世界の分野に、自律学習をスケーリングする際の主な制限要因は何か？

主な発見

• メタラーニング手法により、エージェントは少数の例から一般化でき、人間のような少々例学習能力を示した。
• ワールドモデル学習により、報酬が疎である環境でも、将来の状態をシミュレートし、効果的に計画できるようになった。
• 階層的強化学習により、複雑なタスクを部分目標に分解でき、サンプル効率とスケーラビリティが向上した。
• 生のセンサー入力から学習された自己教師ありワールドモデルは、推論や計画に役立つ構造的かつ分離可能な表現を捉えることができた。
• エンド・ツー・エンドの微分可能なモデルで訓練された自律エージェントは、複雑で動的な環境において、より高い耐性と適応性を示した。
• 進展は見られたが、形式的モデルが欠如する現実世界の分野において、信頼性があり一般化可能な推論を達成するには、依然として大きな課題が残っている。