[論文レビュー] Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Active Tasks.

Alexander F. Sax, Bradley Emi+4 more|arXiv (Cornell University)|Dec 31, 2018

Reinforcement Learning in Robotics被引用数 15

ひとこと要約

本論文では、アクティブロボットタスクにおける深層強化学習のサンプル効率性と一般化性能を向上させるために、シーンパースリングやオブジェクト検出などの中レベルの視覚表現を認識モジュールとして使用することを提案する。これらの中間特徴を統合することで、特に未確認の環境において、からくり訓練に比べてエージェントはより速く学習し、よりよく一般化する。ただし、各タスクに適切に特徴を選択する必要がある。

ABSTRACT

One of the ultimate promises of computer is to help robotic agents perform active tasks, like delivering packages or doing household chores. However, the conventional approach to solving vision is to define a set of offline recognition problems (e.g. object detection) and solve those first. This approach faces a challenge from the recent rise of Deep Reinforcement Learning frameworks that learn active tasks from scratch using images as input. This poses a set of fundamental questions: what is the role of computer if everything can be learned from scratch? Could intermediate tasks actually be useful for performing arbitrary downstream active tasks? We show that proper use of mid-level perception confers significant advantages over training from scratch. We implement a perception module as a set of mid-level visual representations and demonstrate that learning active tasks with mid-level features is significantly more sample-efficient than scratch and able to generalize in situations where the from-scratch approach fails. However, we show that realizing these gains requires careful selection of the particular mid-level features for each downstream task. Finally, we put forth a simple and efficient perception module based on the results of our study, which can be adopted as a rather generic perception module for active frameworks.

研究の動機と目的

• 中レベルの視覚表現が、アクティブロボットタスクにおける強化学習のサンプル効率性と一般化性能を向上させることを調査すること。
• エージェントがピクセルから直接学習可能である場合に、中間の認識モジュールが有益であるかどうかという根本的な問いに答えること。
• 特定の下流アクティブタスクに最も効果的な中レベル特徴を同定すること。
• 実験的発見に基づいて、シンプルで効率的かつ汎用的な認識モジュールを、アクティブビジョンフレームワークに使用するために開発すること。

提案手法

• 生画像からセマンティックセグメンテーション、オブジェクト検出、シーンパースリングなどの中レベル視覚表現を抽出する認識モジュールを設計すること。
• 生ピクセルの代わりに、これらの中レベル特徴を深層強化学習エージェントの入力として統合すること。
• ナビゲーションやオブジェクト操作などの多様なアクティブタスクで、中レベル特徴を観測値として使用してエージェントを訓練すること。
• 生ピクセルから訓練されたベースラインエージェントと比較し、環境をまたいでサンプル効率性と一般化性能を測定すること。
• 中レベル特徴の異なる組み合わせを体系的に評価し、各タスクに最も効果的なセットを同定すること。
• 実験で同定された最も効果的な特徴に基づいて、軽量で汎用的な認識モジュールを提案すること。

実験結果

リサーチクエスチョン

• RQ1 中レベルの視覚表現は、深層強化学習を用いたアクティブタスクの学習において、サンプル効率性を向上させることができるか？
• RQ2 生ピクセルから訓練するのと比較して、中レベル特徴を使用することで、未確認の環境への一般化性能が向上するか？
• RQ3 特定の下流アクティブタスクに最も有益な中レベル特徴は何か？
• RQ4 中レベル特徴による性能向上は、特徴選択を慎重に行う必要があるのか、それとも任意の中間表現で十分なのか？

主な発見

• 中レベル視覚表現を用いた学習は、からくり訓練よりも顕著に高いサンプル効率性を示す。
• 中レベル特徴を用いたエージェントは、未確認の環境への一般化性能が優れており、からくり訓練エージェントはそのような環境でしばしば失敗する。
• 性能向上は、タスク固有の中レベル特徴の選択に強く依存しており、すべての特徴が同等の利益をもたらすわけではない。
• 実験で同定された最も効果的な特徴に基づくシンプルで汎用的な認識モジュールを成功裏に開発し、複数のタスクで有効であることが示された。
• 本研究では、中間認識がエンドツーエンド学習に対する強力な補完的手段であることが示された。