[論文レビュー] Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey

Ngan Le, Vidhiwar Singh Rathour+3 more|arXiv (Cornell University)|Aug 25, 2021

Advanced Neural Network Applications参考文献 393被引用数 23

ひとこと要約

この包括的なサーベイは、コンピュータビジョンにおける深層強化学習（DRL）の応用を体系的に概説し、7つの主要なタスク—ランドマーク局所化、オブジェクト検出、トラッキング、画像登録、セグメンテーション、動画分析、その他のビジョンタスク—にわたりDRL手法を分類している。理論的基盤を統合し、最先端の技術を比較し、データセットとコードの可用性を評価し、DRLにおける未解決の課題と今後の研究方向性を特定している。

ABSTRACT

Deep reinforcement learning augments the reinforcement learning framework and utilizes the powerful representation of deep neural networks. Recent works have demonstrated the remarkable successes of deep reinforcement learning in various domains including finance, medicine, healthcare, video games, robotics, and computer vision. In this work, we provide a detailed review of recent and state-of-the-art research advances of deep reinforcement learning in computer vision. We start with comprehending the theories of deep learning, reinforcement learning, and deep reinforcement learning. We then propose a categorization of deep reinforcement learning methodologies and discuss their advantages and limitations. In particular, we divide deep reinforcement learning into seven main categories according to their applications in computer vision, i.e. (i)landmark localization (ii) object detection; (iii) object tracking; (iv) registration on both 2D image and 3D image volumetric data (v) image segmentation; (vi) videos analysis; and (vii) other applications. Each of these categories is further analyzed with reinforcement learning techniques, network design, and performance. Moreover, we provide a comprehensive analysis of the existing publicly available datasets and examine source code availability. Finally, we present some open issues and discuss future research directions on deep reinforcement learning in computer vision

研究の動機と目的

• コンピュータビジョンタスクに応用された深層強化学習（DRL）技術について、体系的なレビューを提供すること。
• オブジェクト検出、トラッキング、セグメンテーション、動画分析などを含む、コンピュータビジョンにおける応用に基づいてDRL手法を分類すること。
• 深層学習、強化学習、DRLの理論的基盤を分析し、ビジョンにおけるDRLの理解の基盤を確立すること。
• DRLのための公開データセットおよびソースコードの可用性を評価し、再現可能性と研究へのアクセスを支援すること。
• DRLを用いたコンピュータビジョン分野における未解決の課題を特定し、今後の研究方向性を提案すること。

提案手法

• コンピュータビジョンにおける7つの応用分野に分類してDRLを提示：ランドマーク局所化、オブジェクト検出、オブジェクトトラッキング、画像登録（2D/3D）、画像セグメンテーション、動画分析、その他の応用。
• 深層学習（例：CNN、RNN、オートエンコーダ）および強化学習（例：マルコフ決定過程、価値関数、方策勾配）のコアな要素を理論的基盤としてレビュー。
• DRL手法をモデルベースとモデルフリーのアプローチに分類し、さらに価値ベース、方策勾配、アクトアクリティックのサブカテゴリに分類。
• 各ビジョン応用分野における最先端のDRLモデルを分析し、ネットワークアーキテクチャ、トレーニング技術、パフォーマンス指標を比較。
• 各応用カテゴリにおける既存のデータセットおよびコードの可用性を評価し、再現可能性とベンチマークの課題を強調。
• 逆強化学習、マルチエージェントDRL、メタ-DRL、模倣学習などの高度なDRLパラダイムを検討し、ビジョン応用と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、コンピュータビジョンタスクにおける順序的な意思決定問題をどのように効果的に応用できるか？
• RQ2 ランドマーク検出、オブジェクト検出、画像セグメンテーションにおけるDRLアプローチの主な手法的差異とパフォーマンスのトレードオフは何か？
• RQ3 モデルベースとモデルフリーのDRL手法は、ビジョン応用において、サンプル効率性と安定性の観点でどのように比較できるか？
• RQ4 特に報酬設計、探索、一般化の観点から、DRLをビジョンタスクに適用する際の主な課題は何か？
• RQ5 模倣学習、逆DRL、メタ-DRLは、データ効率性とポリシーの転送を向上させるために、コンピュータビジョンで果たす役割は何か？

主な発見

• DRLは、オブジェクト検出や画像セグメンテーションといったコンピュータビジョンタスクで強力なパフォーマンスを示しており、特にデータが少ない状況では教師ありベースラインを上回ることが多い。
• DRLとアテンションメカニズム、グラフニューラルネットワークの統合により、3D画像登録や動画アクション認識といった複雑なタスクでの性能が向上した。
• 逆DRLおよび模倣学習技術により、手動で設計された報酬関数の必要性が低減され、専門家のデモンストレーションからより効率的なポリシー学習が可能になった。
• マルチエージェントDRLは、自動運転やマルチロボットビジョンシステムのような状況で協調的意思決定を可能にするが、非定常性が依然として主要な課題である。
• メタ-DRLアプローチは、新しいデータに対して最小限のファインチューニングで済ませることで、視覚タスク全体にわたる一般化を著しく向上させた。
• 進展は見られたが、報酬関数設計、探索効率性、トレーニングの安定性の面で未解決の課題が残っており、特に高次元の視覚的観測空間では顕著である。