[論文レビュー] AllenAct: A Framework for Embodied AI Research

Luca Weihs, Jordi Salvador+5 more|arXiv (Cornell University)|Aug 28, 2020

Reinforcement Learning in Robotics参考文献 59被引用数 44

ひとこと要約

AllenAct は、Embodied AI 研究のために環境、タスク、学習パイプラインを統合するモジュール式の Python/PyTorch フレームワークであり、複数の環境とアルゴリズムにまたがる再現可能な実験を可能にします。

ABSTRACT

The domain of Embodied AI, in which agents learn to complete tasks through interaction with their environment from egocentric observations, has experienced substantial growth with the advent of deep reinforcement learning and increased interest from the computer vision, NLP, and robotics communities. This growth has been facilitated by the creation of a large number of simulated environments (such as AI2-THOR, Habitat and CARLA), tasks (like point navigation, instruction following, and embodied question answering), and associated leaderboards. While this diversity has been beneficial and organic, it has also fragmented the community: a huge amount of effort is required to do something as simple as taking a model trained in one environment and testing it in another. This discourages good science. We introduce AllenAct, a modular and flexible learning framework designed with a focus on the unique requirements of Embodied AI research. AllenAct provides first-class support for a growing collection of embodied environments, tasks and algorithms, provides reproductions of state-of-the-art models and includes extensive documentation, tutorials, start-up code, and pre-trained models. We hope that our framework makes Embodied AI more accessible and encourages new researchers to join this exciting area. The framework can be accessed at: https://allenact.org/

研究の動機と目的

• Embodied AI (E-AI) 研究における断片化を低減する、統一されたモジュール式フレームワークの提示を動機づける。
• 複数の E-AI 環境とタスクに対して一級のサポートを提供する。
• 柔軟な学習パイプラインと事前学習済みモデルを用いて再現性のある実験を促進する。
• 導入コストを低減し、E-AI 研究へのより広い参加を促す。

提案手法

• 抽象化を導入する: ActorCriticModel、Sensor、Environment、Task、TaskSampler、Losses、TrainingPipeline。
• Environment と Task の分離により、柔軟な目標定義と環境間での簡易なタスク切替を可能にする。
• オンポリシー PPO/A2C、IL（模倣学習）、DAgger、そして柔軟な損失組み合わせを伴うオフライン学習など、多様な学習 regime をサポートする。
• カリキュラム型学習のための順次ステージと任意の教師 forcing を備えた柔軟な TrainingPipeline を提供する。
• 再現性とデバッグを高めるためのマルチエージェントサポート、可視化ツール、事前学習済みモデルを有効にする。

実験結果

リサーチクエスチョン

• RQ1 モジュール化されたフレームワークは、複数のEmbodied環境とタスクを統一して研究ワークフローを合理化できるか？
• RQ2 単一のトレーニングパイプライン抽象化は、RL、IL、オフラインなどのさまざまな学習信号やカリキュラム戦略をどれだけサポートできるか？
• RQ3 設計上の選択は、再現性と環境間一般化をどのように改善するか？
• RQ4 Task と Environment の分離は、新しいタスクや環境の追加を容易にするか？
• RQ5 マルチエージェントと可視化機能は、E-AI における手法開発と評価を加速できるか？

主な発見

• AllenAct は iTHOR、RoboTHOR、Habitat の PointNav および ObjectNav タスクに対して DD-PPO を用いて結果を再現する。
• フレームワークは BabyAI の GoToLocal をサポートし、IL/RL のハイブリッドが比較的少ないステップ数で高いテスト性能を達成できることを示している。
• IL-to-RL パイプライン（例: BC/DAgger の後に PPO） は性能を向上させることができ、適応的な IL-RL の組み合わせ戦略が MiniGrid タスクで最も良い性能を発揮する。
• 教師強制とオフライン監督によってオンポリシーの制約を超え、アルゴリズムの可能性を広げる。
• マルチエージェント実験（例: Stag Hunt）は再現性が高く、同様の設定の下で以前の研究と同等の報酬を得る。
• フレームワークには再現性とオンボーディングを支援する事前学習済みモデルとチュートリアルが含まれている。