[논문 리뷰] Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey

Ngan Le, Vidhiwar Singh Rathour외 3명|arXiv (Cornell University)|2021. 08. 25.

Advanced Neural Network Applications참고 문헌 393인용 수 23

한 줄 요약

이 종합적 서베이는 컴퓨터 시각 분야에서 딥 강화학습(DRL) 응용에 대한 체계적인 개요를 제공하며, 주요 일곱 가지 과제—지점 정위, 물체 검출, 추적, 이미지 정렬, 세분화, 영상 분석, 기타 시각 과제—에 따라 DRL 방법을 분류한다. 이 서베이는 이론적 기초를 종합하고 최신 기법들을 비교하며, 데이터셋과 소스 코드 가용성도 평가하며, DRL을 통한 시각 분야의 열린 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Deep reinforcement learning augments the reinforcement learning framework and utilizes the powerful representation of deep neural networks. Recent works have demonstrated the remarkable successes of deep reinforcement learning in various domains including finance, medicine, healthcare, video games, robotics, and computer vision. In this work, we provide a detailed review of recent and state-of-the-art research advances of deep reinforcement learning in computer vision. We start with comprehending the theories of deep learning, reinforcement learning, and deep reinforcement learning. We then propose a categorization of deep reinforcement learning methodologies and discuss their advantages and limitations. In particular, we divide deep reinforcement learning into seven main categories according to their applications in computer vision, i.e. (i)landmark localization (ii) object detection; (iii) object tracking; (iv) registration on both 2D image and 3D image volumetric data (v) image segmentation; (vi) videos analysis; and (vii) other applications. Each of these categories is further analyzed with reinforcement learning techniques, network design, and performance. Moreover, we provide a comprehensive analysis of the existing publicly available datasets and examine source code availability. Finally, we present some open issues and discuss future research directions on deep reinforcement learning in computer vision

연구 동기 및 목표

• 컴퓨터 시각 과제에 적용된 딥 강화학습(DRL) 기법에 대한 체계적인 리뷰를 제공하는 것.
• 물체 검출, 추적, 세분화, 영상 분석 등 컴퓨터 시각에서의 응용에 기반한 DRL 방법론을 분류하는 것.
• 딥 러닝, 강화학습, DRL의 이론적 기초를 분석하여 DRL이 시각 분야에서 어떻게 작동하는지 이해하는 기초를 마련하는 것.
• DRL을 위한 공개된 데이터셋과 소스 코드를 평가하여 재현 가능성과 연구 접근성을 지원하는 것.
• DRL을 통한 시각 분야 발전을 위한 열린 과제를 규명하고 향후 연구 방향을 제안하는 것.

제안 방법

• 컴퓨터 시각 분야의 일곱 가지 응용 중심 영역으로 DRL을 분류: 지점 정위, 물체 검출, 물체 추적, 이미지 정렬(2D/3D), 이미지 세분화, 영상 분석, 기타 응용.
• 핵심 구성 요소로 딥 러닝(예: CNN, RNN, 오토에코더)과 강화학습(예: 마르코프 결정 과정, 가치 함수, 정책 기반 기울기)을 이론적 기초로 검토.
• 모델 기반 및 모델리스 접근 방식으로 DRL 기법을 분류하며, 하위 분류로는 가치 기반, 정책 기반 기울기, 액터-크리틱 방법 등이 포함됨.
• 각 시각 응용 분야에서 최신 DRL 모델을 분석하고, 네트워크 아키텍처, 학습 기법, 성능 지표를 비교.
• 각 응용 카테고리에 대해 기존 데이터셋과 소스 코드 가용성을 평가하며, 재현 가능성과 벤치마킹 과제를 부각.
• 역강화학습, 다중 에이전트 DRL, 메타-DRL, 모방 학습과 같은 고급 DRL 프레임워크를 논의하고, 이를 시각 응용과 연결함.

실험 결과

연구 질문

• RQ1 딥 강화학습은 컴퓨터 시각 과제의 순차적 의사결정 문제를 효과적으로 어떻게 해결할 수 있는가?
• RQ2 지점 검출, 물체 검출, 이미지 세분화 분야에서 DRL 접근 방식 간의 주요 방법론적 차이점과 성능 트레이드오프는 무엇인가?
• RQ3 모델 기반 및 모델리스 DRL 방법은 시각 응용 전반에서 샘플 효율성과 안정성 측면에서 어떻게 비교되는가?
• RQ4 보상 설계, 탐색, 일반화 측면에서 DRL을 시각 과제에 적용할 때 주요 과제는 무엇인가?
• RQ5 모방 학습, 역강화학습, 메타-DRL은 컴퓨터 시각에서 데이터 효율성 향상과 정책 전이 개선에 어떤 역할을 하는가?

주요 결과

• DRL은 물체 검출 및 이미지 세분화와 같은 컴퓨터 시각 과제에서 강력한 성능을 보였으며, 특히 데이터가 적은 환경에서 지도학습 기반 모델보다 뛰어난 성능을 보였다.
• DRL과 주목력 메커니즘, 그래프 신경망의 통합은 3D 이미지 정렬 및 영상 행동 인식과 같은 복잡한 과제에서 성능 향상을 이끌었다.
• 역강화학습과 모방 학습 기법은 수동으로 설계된 보상 함수의 필요성을 줄여 주었으며, 전문가 시연로부터 더 효율적인 정책 학습을 가능하게 하였다.
• 다중 에이전트 DRL은 자율 주행 및 다중 로봇 시각 시스템과 같은 상황에서 협동적 의사결정을 가능하게 했지만, 비정적 상태 유지 문제로 인해 여전히 주요 과제로 남아 있다.
• 메타-DRL 접근 방식은 샘플 복잡도를 크게 줄여 주었으며, 새로운 데이터에 대한 최소한의 미세조정으로도 다양한 시각 과제에 일반화할 수 있도록 하였다.
• 진전에도 불구하고, 보상 함수 설계, 탐색 효율성, 학습 안정성 문제 등 여전히 고차원 시각 관측 공간에서의 과제들이 남아 있다.