[論文レビュー] A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization

Pamul Yadav, Ashutosh Mishra+2 more|arXiv (Cornell University)|Feb 17, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本サーベイは、適応性と一般化を向上させるための深層強化学習（DRL）における最近の進展を統合し、タスク適応とドメイン適応に基づいて手法を分類している。環境間でのDRLエージェントの頑健性を向上させる技術を分析し、現実世界への適用性を高めるために一般化性と適応性を改善するための今後の研究方向性を提案している。

ABSTRACT

Deep Reinforcement Learning (DRL) aims to create intelligent agents that can learn to solve complex problems efficiently in a real-world environment. Typically, two learning goals: adaptation and generalization are used for baselining DRL algorithm's performance on different tasks and domains. This paper presents a survey on the recent developments in DRL-based approaches for adaptation and generalization. We begin by formulating these goals in the context of task and domain. Then we review the recent works under those approaches and discuss future research directions through which DRL algorithms' adaptability and generalizability can be enhanced and potentially make them applicable to a broad range of real-world problems.

研究の動機と目的

• 多様なタスクとドメインにわたるDRLアプローチの体系的レビューを通じて、エージェントの適応性と一般化性を向上させる最近の手法を調査すること。
• DRLエージェントがトレーニング分布を超えて一般化し、新しい環境に適応できるようにするための主要な技術的戦略を特定すること。
• DRLにおける適応性と一般化のための現在の手法におけるトレードオフと制限要因を分析すること。
• DRLエージェントの頑健性と転送可能性を向上させるための未解決の課題と今後の研究方向性を提示すること。
• 研究者がより一般化性と適応性に優れたDRLシステムを開発するのを支援するため、分野全体の構造的概要を提供すること。

提案手法

• 適応（タスクレベル）と一般化（ドメインレベル）の目的に基づいてDRL手法を分類する。
• 一般化性を向上させるために、メタ強化学習、ドメインランダマイゼーション、内因的好奇心などの技術をレビューする。
• 階層的ポリシーと分離表現といったアーキテクチャの革新を分析し、適応性を向上させる。
• カリキュラム学習とマルチタスク学習戦略が、環境間での頑健な一般化を促進する仕組みを検討する。
• 報酬形状付け、表現学習、データ拡張が適応性能を向上させる役割を評価する。
• ロボット工学、ゲームプレイ、連続制御の複数の分野における知見を統合し、共通のパターンとギャップを特定する。

実験結果

リサーチクエスチョン

• RQ1 DRLで異なるドメインにわたる一般化性を向上させるために用いられる主な技術的アプローチは何か？
• RQ2 適応に焦点を当てた手法は、再トレーニングを最小限に抑えて、新しいタスクに迅速に適応できるようにエージェントをどのように支援するか？
• RQ3 分布シフト下での頑健な一般化を達成するにあたり、現在のDRL手法に見られる主な制限要因は何か？
• RQ4 アーキテクチャ的選択とトレーニング戦略の選択が、DRLエージェントの適応性と一般化能力にどのように影響を与えるか？
• RQ5 DRLシステムの現実世界への展開可能性を著しく向上させるための今後の研究方向性は何か？

主な発見

• メタ強化学習とドメインランダマイゼーションは、未確認の環境間での一般化性を向上させるために、最も効果的な戦略の一つである。
• 階層的および分離表現は、転送可能なスキルを学習することで、エージェントが新しいタスクに適応する能力を著しく向上させる。
• カリキュラム学習とマルチタスク学習は、段階的に複雑さを増すタスクを通じて、サンプル効率と一般化性を向上させる。
• 内因的好奇心と好奇心駆動型探索は、報酬が疎な環境において多様な行動を発見・一般化するのを支援する。
• 進展は見られるものの、現在の手法は分布シフトに対して依然として困難を抱えており、頑健な性能を得るためには膨大なハイパーパramータチューニングを要する。
• 本サーベイは、一般化性と適応性の性能を異なる手法間で比較するための標準化されたベンチマークと評価プロトコルの必要性が極めて重要であると指摘している。