[논문 리뷰] Deep Reinforcement Learning for Visual Object Tracking in Videos

Da Zhang, Hamid Reza Maei외 2명|arXiv (Cornell University)|2017. 01. 31.

Video Surveillance and Tracking Methods참고 문헌 54인용 수 101

한 줄 요약

이 논문은 CNN, RNN(LSTM), 그리고 강화 학습을 결합한 end-to-end Deep RL Tracker를 소개하여 영상 프레임 간 목표 물체의 바운딩 박스를 예측하고, OTB에서 최첨단 성능을 달성하며 실시간 혹은 그보다 빠른 속도를 구현한다.

ABSTRACT

In this paper we introduce a fully end-to-end approach for visual tracking in videos that learns to predict the bounding box locations of a target object at every frame. An important insight is that the tracking problem can be considered as a sequential decision-making process and historical semantics encode highly relevant information for future decisions. Based on this intuition, we formulate our model as a recurrent convolutional neural network agent that interacts with a video overtime, and our model can be trained with reinforcement learning (RL) algorithms to learn good tracking policies that pay attention to continuous, inter-frame correlation and maximize tracking performance in the long run. The proposed tracking algorithm achieves state-of-the-art performance in an existing tracking benchmark and operates at frame-rates faster than real-time. To the best of our knowledge, our tracker is the first neural-network tracker that combines convolutional and recurrent networks with RL algorithms.

연구 동기 및 목표

• 시각 추적을 시퀀스 결정 문제로 형식화하고 시간 정보를 활용하여 장기 추적 성능을 향상시킨다.
• 비디오 프레임에서 직접 바운딩 박스를 출력하는 합성곱-순환 신경망을 개발한다.
• 장기 추적 보상을 극대화하기 위해 강화 학습으로 오프라인에서 모델을 학습한다.
• 온라인 미세 조정 없이 간단한 순전파로도 온라인 추적이 가능하게 하면서 높은 정확도를 유지한다.

제안 방법

• 관측 네트워크가 각 프레임을 특징으로 인코딩하고 위치 벡터를 연결(concatenate)하여 순환 네트워크에 입력한다.
• 순환(LSTM) 네트워크가 시계열 특징을 처리하여 은닉 상태 h_t로부터 바운딩 박스 l_t = (x, y, w, h)을 예측한다.
• 정책은 가우시안의 평균으로 l_t를 출력하며, 학습은 기울기 분산을 줄이기 위해 베이스라인이 있는 REINFORCE를 사용한다.
• 두 가지 보상 정의를 사용한다: 초기 단계 r_t = -avg(|l_t - g_t|) - max(|l_t - g_t|) 및 후기 단계 IoU 기반 r_t = |l_t ∩ g_t| / |l_t ∪ g_t|, 총 보상 R=Σ r_t를 최대화한다.
• 훈련은 역전파와 REINFORCE를 결합하여 W = {W_o, W_r}를 엔드-투-엔드로 업데이트한다; 가우시안 정책은 학습 중 샘플링을 가능하게 하고 테스트 시에는 결정론적 출력을 제공한다.
• 사전 학습된 YOLO의 특징(훈련 중 고정)을 관찰 벡터의 위치 신호와 융합; 1-layer 5000-unit LSTM이 시간 추론을 처리한다.

실험 결과

연구 질문

• RQ1 강화 학습으로 학습된 완전한 엔드-투-엔드 CNN+RNN 모델이 비디오 프레임에서 대상 객체를 효과적으로 추적할 수 있는가?
• RQ2 LSTM을 통한 긴 시간 정보의 활용이 프레임 단위 방법에 비해 추적 강건성을 향상시키는가?
• RQ3 오프라인에서 학습된 딥 RL 추적기가 온라인 미세 조정 없이도 실시간 프레임 속도로 온라인으로 작동할 수 있는가?
• RQ4 다양한 보상 공식(초기 대리 vs IoU 기반)이 장기 추적 성능에 어떤 영향을 미치는가?

주요 결과

Tracker	AUC	precision	speed (fps)
DLT [27]	0.384	0.490	8
STRUCK [8]	0.496	0.664	10
DRLT (ours)	0.543	0.635	45
DRLT-LSTM (ours)	0.543	0.635	270

• 제안된 DRLT 프레임워크가 여러 비교 기준보다 OTB 추적 벤치마크에서 최첨단 성능을 달성한다.
• DRLT는 GTX 1080에서 약 45 fps로 실행되며, 사전 계산된 YOLO 특징을 사용하는 변형 DRLT-LSTM은 270 fps에 도달한다.
• 벤치마크 하위 집합에서 DRLT는 AUC 0.543, precision 0.635를 달성해 DLT(0.368 AUC) 및 STRUCK(0.496 AUC)를 능가한다.
• 더 큰 RNN 스텝 크기(더 긴 시간 창)가 추적 정확도를 향상시키며 시간 모델링의 중요성을 강조한다.
• 온라인 미세 조정 없이도 오프라인 학습과 간단한 온라인 순전파로 실시간 성능을 제공한다.