[論文レビュー] Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research

Juan Jose Garau Luis, Edward F. Crawley+1 more|arXiv (Cornell University)|Jul 7, 2021

Reinforcement Learning in Robotics参考文献 78被引用数 4

ひとこと要約

本論文は、ドメインに依存しないDRL研究とドメイン特化DRL研究の間のギャップを評価し、ロボティクスへの偏り、実世界でのフォローアップ不足、運用上の制約の無視といった、一般DRL研究における5つの主要な欠陥を特定。DRL単独では不十分な状況におけるハイブリッド意思決定を含め、一般性の向上、ターゲット型のプロトタイプ開発、実世界への展開を促進する二本の道筋の枠組みを提案。

ABSTRACT

Deep Reinforcement Learning (DRL) is considered a potential framework to improve many real-world autonomous systems; it has attracted the attention of multiple and diverse fields. Nevertheless, the successful deployment in the real world is a test most of DRL models still need to pass. In this work we focus on this issue by reviewing and evaluating the research efforts from both domain-agnostic and domain-specific communities. On one hand, we offer a comprehensive summary of DRL challenges and summarize the different proposals to mitigate them; this helps identifying five gaps of domain-agnostic research. On the other hand, from the domain-specific perspective, we discuss different success stories and argue why other models might fail to be deployed. Finally, we take up on ways to move forward accounting for both perspectives.

研究の動機と目的

• ドメインに依存しないDRL研究と実世界への展開における課題の間の断絶を分析すること。
• 特に運用文脈において実世界への適用が阻害される要因となる、現在のDRL研究における主な欠陥を同定すること。
• ドメイン特化DRLの成功事例を評価し、シミュレーション上で優れた性能を示しても多くのモデルが実装に至らない理由を理解すること。
• 一般化可能なDRLの進展とドメイン特化の運用ニーズを統合する枠組みを提案すること。
• 設計上のトレードオフやシステムレベルの制約に応じた、より運用可能となるDRLシステムへの今後の研究の方向性を示唆すること。

提案手法

• 最近の文献から、ドメインに依存しないDRLの課題とその緩和戦略について包括的なレビューを実施。
• ドメインに依存しないDRL研究における5つの重要なギャップを同定：ロボティクスへの偏り、複合的課題への十分な対応の欠如、実世界での検証不足、設計上のトレードオフの理解不足、運用上の考慮事項の無視。
• 多様な分野（例：ロボティクス、通信、医療、創薬）におけるドメイン特化DRLの応用を分析し、成功事例と失敗要因を明らかにする。
• 実世界への展開に向けた三本の戦略を提言：既存モデルの一般性の向上、運用領域をカバーする追加のプロトタイプ開発、DRL単独では不十分な状況の認識。
• 両者の視点から得た知見を統合し、DRLが他の制御または計画手法と補完する形で機能するハイブリッド意思決定システムの推進を提言。
• 概念的枠組み（図2）を用いて、ドメイン特化の運用文脈と一般化可能なDRLのプロトタイプ開発を区別し、それらの整合性の重要性を強調。

実験結果

リサーチクエスチョン

• RQ1 シミュレーション上では優れた性能を示すにもかかわらず、多くのDRLモデルが実世界環境に展開されないのはなぜか？
• RQ2 実世界への適用性を阻害するドメインに依存しないDRL研究における主なギャップは何か？
• RQ3 ドメイン特化DRLの応用は、実世界への展開でどのように成功または失敗するのか。運用上の制約はどのような役割を果たすのか？
• RQ4 一般化可能なDRLモデルが、実世界システムの全運用領域をカバーできる範囲はどの程度か？
• RQ5 どのような運用状況下でDRLは不十分となり、他の意思決定フレームワークとどのように統合すべきか？

主な発見

• ドメインに依存しないDRL研究における5つの主要なギャップが特定された：ロボティクス用途への過剰な依存、複合的課題への十分な注力の欠如、実世界での検証不足、設計上のトレードオフの理解不足、運用上の考慮事項の無視。
• 多くのドメイン特化DRLの成功は、一般性を犠牲にした高度にカスタマイズされたモデルによって達成されており、広範な運用展開には不適切である。
• 実世界への展開は、アルゴリズム上の制限だけでなく、モデル設計および評価において運用文脈が欠落していることが主な障壁である。
• 一般性の向上は必須だが、それだけでは不十分である。複雑な運用領域をカバーするには、特殊化されたDRLモデルのポートフォリオが必要となる可能性がある。
• 一部の状況ではDRL単体では全運用スペクトルをカバーできないため、非DRLの意思決定システムと統合する必要がある。
• ドメインに依存しない研究とドメイン特化の運用ニーズの整合性は、実世界におけるDRL展開を前進させるために不可欠である。