[논문 리뷰] End-to-end Active Object Tracking via Reinforcement Learning

Wenhan Luo, Peng Sun외 4명|arXiv (Cornell University)|2017. 05. 30.

Video Surveillance and Tracking Methods참고 문헌 57인용 수 40

한 줄 요약

이 논문은 시뮬레이션 환경에서 원시 영상 프레임에서 직접 카메라 제어 동작을 예측하는 딥 강화학습을 사용한 엔드 투 엔드 주동 객체 추적 시스템을 제안한다. 이 방법은 새로운 객체 외관, 궤적, 배경 및 간섭 물체가 있는 환경에서도 강건한 추적 일반화 성능을 달성하며, 실제 세계 시나리오로의 전이 성능도 실세계 미세조정 없이 가능하다.

ABSTRACT

We study active object tracking, where a tracker takes as input the visual observation (i.e., frame sequence) and produces the camera control signal (e.g., move forward, turn left, etc.). Conventional methods tackle the tracking and the camera control separately, which is challenging to tune jointly. It also incurs many human efforts for labeling and many expensive trial-and-errors in realworld. To address these issues, we propose, in this paper, an end-to-end solution via deep reinforcement learning, where a ConvNet-LSTM function approximator is adopted for the direct frame-toaction prediction. We further propose an environment augmentation technique and a customized reward function, which are crucial for a successful training. The tracker trained in simulators (ViZDoom, Unreal Engine) shows good generalization in the case of unseen object moving path, unseen object appearance, unseen background, and distracting object. It can restore tracking when occasionally losing the target. With the experiments over the VOT dataset, we also find that the tracking ability, obtained solely from simulators, can potentially transfer to real-world scenarios.

연구 동기 및 목표

• 기존 수동 추적기의 한계를 해결하기 위해 카메라 제어 기능이 없고, 광범위한 인간 레이블링 또는 실세계 시도 오류가 필요한 점을 개선하기 위해.
• 딥 강화학습을 사용하여 객체 추적과 카메라 제어를 동시에 최적화하는 엔드 투 엔드 주동 추적 솔루션을 개발하기 위해.
• 새로운 객체 외관, 궤적, 배경 및 간섭 물체를 포함한 새로운 환경으로의 일반화를 가능하게 하기 위해.
• 시뮬레이션에서 학습된 정책이 실세계 추적 시나리오로 성공적으로 전이될 수 있음을 입증하기 위해.

제안 방법

• 원시 영상 프레임을 직접 카메라 제어 동작(예: 전진, 왼쪽으로 회전)으로 매핑하기 위해 ConvNet-LSTM 아키텍처를 엔드 투 엔드 방식으로 사용한다.
• 목표 물체에 가까워지도록 유도하는 맞춤형 밀도 레이어를 설계한 보상 함수를 사용하여 A3C 강화학습 알고리즘을 적용해 에이전트를 훈련시킨다.
• 시뮬레이터 API를 활용해 다양한 객체 외관, 배경 및 운동 궤적을 가진 훈련 시나리오를 생성함으로써 환경 증강을 적용한다.
• 실세계 레이블링된 바운딩 박스나 실세계 배포 비용 없이 가상 환경(ViZDoom 및 Unreal Engine)을 활용해 에이전트를 훈련시킨다.
• 에이전트의 동작 결정에 가장 영향을 주는 이미지 영역을 확인하기 위해 시각적 주목도 맵 분석을 수행한다. 이는 목표 물체에 주목하고 있음을 확인한다.
• 실세계 비디오 클립(VOt 데이터셋에서 확보)을 사용해 학습된 정책의 제로샷 전이 성능을 평가한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 강화학습 에이전트는 인간 레이블링된 바운딩 박스나 실세계 데이터 수집 없이 주동 객체 추적을 학습할 수 있는가?
• RQ2 시뮬레이션에서 훈련된 정책은 새로운 객체 외관, 운동 경로 및 배경 환경으로의 일반화 성능가 얼마나 우수한가?
• RQ3 막힘 또는 급속한 운동으로 인한 일시적 목표물 실종 상황에서 에이전트는 추적을 복구할 수 있는가?
• RQ4 실세계 비디오 시퀀스로의 전이 성능가 시뮬레이션에서 학습된 정책이 미세조정 없이 효과적으로 작동하는가?
• RQ5 에이전트는 카메라 제어 결정을 내릴 때 어떤 시각적 단서를 우선적으로 고려하는가?

주요 결과

• 제안된 엔드 투 엔드 RL 기반 추적기는 시뮬레이션 환경에서 새로운 객체 운동 경로, 외관, 배경 및 간섭 물체로의 강건한 일반화 성능을 달성한다.
• 일시적 목표물 실종 상황에서도 추적을 성공적으로 복구하여 추적 실패에 대한 내성적 저항성을 보여준다.
• 실세계 비디오 클립을 사용해 VOT 데이터셋에서 테스트한 결과, 시뮬레이션에서 학습된 정책이 강력한 제로샷 전이 성능을 보였다.
• 시각적 주목도 맵 분석 결과, 에이전트가 목표 물체에 집중하고 있음을 확인하여 올바른 시각적 콘텐츠에 주목하고 있음을 입증한다.
• 기존 수동 추적기와 수동으로 조정된 카메라 제어 모듈을 탑재한 경우보다 주동 추적 시나리오에서 더 높은 성능을 달성한다.
• 맞춤형 보상 함수와 환경 증강이 정책의 일반화 성능 향상과 훈련 안정성 향상에 크게 기여한다.