[論文レビュー] Environments for Lifelong Reinforcement Learning

Khimya Khetarpal, Shagun Sodhani+2 more|arXiv (Cornell University)|Nov 26, 2018

Reinforcement Learning in Robotics参考文献 11被引用数 6

ひとこと要約

本論文は、段階的スキル習得、構成的タスク解決、および深刻な忘却への耐性をサポートする、生涯強化学習（LRL）環境のフレームワークを提案する。ALE、Gym、VirtualHome、Matterport3Dといった既存の環境を評価し、タスク階層、シーンの多様性、長期的計画支援の面で課題を特定。スケーラブルなタスク複雑性、動的シーン変更、マルチスケールゴール構造を備えたテストベッドの設計を推奨することで、LRLの評価と訓練を強固にする。

ABSTRACT

To achieve general artificial intelligence, reinforcement learning (RL) agents should learn not only to optimize returns for one specific task but also to constantly build more complex skills and scaffold their knowledge about the world, without forgetting what has already been learned. In this paper, we discuss the desired characteristics of environments that can support the training and evaluation of lifelong reinforcement learning agents, review existing environments from this perspective, and propose recommendations for devising suitable environments in the future.

研究の動機と目的

• 生涯強化学習（LRL）エージェントを支援する環境が備えるべき本質的特徴を特定すること。
• ALE、Gym、VirtualHome、Matterport3Dといった既存のRL環境が、LRLの訓練および評価にどの程度適しているかを評価すること。
• 継続的学習、特に深刻な忘却とスキルの構成に関する標準化されたベンチマークの欠如に対処すること。
• 階層的タスク、動的シーン変動、マルチスケール計画をサポートする将来のLRLテストベッドの設計推奨事項を提示すること。
• 研究コミュニティがLRLエージェントのための形式的目標を定義し、一般化能力および長期的知識保持に重点を置くよう導くこと。

提案手法

• 単一スキルタスクから複合的・マルチスキルタスクへと段階的に複雑化するタスク複雑性をサポートする、生涯強化学習テストベッドのフレームワークを提案する。
• 視覚、言語、力覚フィードバックなどのマルチモodalセンサ入力を統合した仮想的身体的実装を導入し、より人間らしい学習ダイナミクスを実現する。
• 物体の追加／削除やシーン変更を可能にする動的シーン変更機能を備えた環境を設計し、進化する現実世界の状況を模擬する。
• 短期的（スキルレベル）および長期的（構成レベル）計画を要請するタスク構造を設計し、時間的一般化能力をテストする。
• 再発行された過去のタスクを評価することで継続的評価を実装し、深刻な忘却への耐性を測定する。
• Matterport3D や SUNCG のような既存データセットを活用し、エージェントのための実在感のある、アノテーション付きの3次元屋内環境を構築する。

実験結果

リサーチクエスチョン

• RQ1 タスク階層とスキルの構成という観点から、生涯強化学習を支援する環境に不可欠な特徴は何か？
• RQ2 ALE、Gym、VirtualHome、Matterport3D といった既存の環境は、生涯学習の要件をどの程度満たしているか？
• RQ3 現在の環境は、強化学習エージェントにおける長期的計画および深刻な忘却への耐性をどの程度サポートできるか？
• RQ4 仮想的身体的実装を活用することで、現実世界の学習ダイナミクスを模擬しつつ、スケーラブルでカリキュラムベースの訓練を可能にする方法は何か？
• RQ5 将来のLRLエージェントの評価用テストベッドの作成をガイドする設計原則は何か？

主な発見

• ALE や Gym といった既存の環境は、タスク階層とシーンの多様性に不足しており、構成的スキル学習の支援が制限されている。
• VirtualHome はプログラムベースのタスク定義によりスキルの構成を可能にするが、シーン変動が欠如しているため、継続的学習における有用性が低い。
• Matterport3D と SUNCG は、セマンティックアノテーション付きの豊富な3次元シーンデータを提供しており、生涯学習環境の構築に強力な基盤を提供する。
• 現在のプラットフォームは、深刻な忘却への耐性を測定するために不可欠な過去のタスクの再評価を十分にサポートしていない。
• 生涯強化学習のための標準化されたベンチマークと形式的目標の欠如は、分野の進展を阻害する主要な障壁のままである。
• 成功したLRLテストベッドは、スケーラブルなタスク複雑性、動的環境変更、マルチスケール計画をサポートする必要がある。これにより、生涯エージェントの強固な評価が可能になる。