[论文解读] Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey

Ngan Le, Vidhiwar Singh Rathour+3 more|arXiv (Cornell University)|Aug 25, 2021

Advanced Neural Network Applications参考文献 393被引用 23

一句话总结

本篇全面综述系统性地概述了深度强化学习（DRL）在计算机视觉中的应用，将DRL方法按七个关键任务进行分类：关键点定位、目标检测、目标跟踪、图像配准、图像分割、视频分析及其他视觉任务。该综述整合了理论基础，对比了最先进技术，评估了数据集与代码的可用性，并指出了DRL在视觉领域中的开放性挑战与未来研究方向。

ABSTRACT

Deep reinforcement learning augments the reinforcement learning framework and utilizes the powerful representation of deep neural networks. Recent works have demonstrated the remarkable successes of deep reinforcement learning in various domains including finance, medicine, healthcare, video games, robotics, and computer vision. In this work, we provide a detailed review of recent and state-of-the-art research advances of deep reinforcement learning in computer vision. We start with comprehending the theories of deep learning, reinforcement learning, and deep reinforcement learning. We then propose a categorization of deep reinforcement learning methodologies and discuss their advantages and limitations. In particular, we divide deep reinforcement learning into seven main categories according to their applications in computer vision, i.e. (i)landmark localization (ii) object detection; (iii) object tracking; (iv) registration on both 2D image and 3D image volumetric data (v) image segmentation; (vi) videos analysis; and (vii) other applications. Each of these categories is further analyzed with reinforcement learning techniques, network design, and performance. Moreover, we provide a comprehensive analysis of the existing publicly available datasets and examine source code availability. Finally, we present some open issues and discuss future research directions on deep reinforcement learning in computer vision

研究动机与目标

• 提供对应用于计算机视觉任务的深度强化学习（DRL）技术的系统性综述。
• 根据在计算机视觉中的应用（如目标检测、跟踪、分割和视频分析）对DRL方法进行分类。
• 分析深度学习、强化学习及DRL的理论基础，为理解DRL在视觉中的应用奠定基础。
• 评估公开可用的DRL在计算机视觉中的数据集与源代码，以支持可复现性与研究可及性。
• 识别开放性挑战，并提出推动DRL在计算机视觉中发展的未来研究方向。

提出的方法

• 将DRL在计算机视觉中划分为七个应用特定领域：关键点定位、目标检测、目标跟踪、图像配准（2D/3D）、图像分割、视频分析及其他应用。
• 回顾深度学习（如卷积神经网络、循环神经网络、自编码器）与强化学习（如马尔可夫决策过程、价值函数、策略梯度）的核心组件，作为理论基础。
• 将DRL技术分类为基于模型与无模型方法，其中子类包括基于价值、策略梯度与演员-critic方法。
• 分析各视觉应用领域中的最先进DRL模型，对比网络架构、训练技术与性能指标。
• 评估各应用类别中现有数据集与代码的可用性，突出可复现性与基准测试的挑战。
• 讨论高级DRL范式，如逆向DRL、多智能体DRL、元-DRL与模仿学习，将其与视觉应用相联系。

实验结果

研究问题

• RQ1 如何有效应用深度强化学习来解决计算机视觉任务中的序列决策问题？
• RQ2 在关键点检测、目标检测与图像分割中，DRL方法之间的关键方法论差异与性能权衡是什么？
• RQ3 在视觉应用中，基于模型与无模型DRL方法在样本效率与稳定性方面如何比较？
• RQ4 在应用DRL于视觉任务时，主要挑战是什么，特别是奖励函数设计、探索效率与泛化能力方面？
• RQ5 模仿学习、逆向DRL与元-DRL在提升数据效率与策略迁移方面发挥什么作用？

主要发现

• DRL在目标检测与图像分割等计算机视觉任务中表现出色，尤其在低数据环境下常优于监督基线方法。
• 将DRL与注意力机制及图神经网络结合，提升了复杂任务（如3D图像配准与视频动作识别）的性能。
• 逆向DRL与模仿学习技术减少了对手动设计奖励函数的依赖，实现了从专家演示中更高效地学习策略。
• 多智能体DRL在自动驾驶与多机器人视觉系统等场景中实现了协调决策，但非平稳性仍是主要挑战。
• 元-DRL方法显著降低了样本复杂度，使智能体能在极少微调下泛化至新视觉任务。
• 尽管已取得进展，奖励函数设计、探索效率与训练稳定性方面的挑战依然存在，尤其在高维视觉观测空间中。