[논문 리뷰] Re3 : Real-Time Recurrent Regression Networks for Object Tracking.

Daniel Gordon, Ali Farhadi외 1명|arXiv (Cornell University)|2017. 05. 17.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 28

한 줄 요약

Re3는 실시간으로 작동하는 딥 오브젝트 트래커로, 단일 프로세스를 통해 추적 중에 지속적으로 외관 모델을 업데이트하는 경량 순환 회귀 네트워크를 사용한다. 이로 인해 150 FPS의 빠른 속도를 달성하고, 최신 기술 대비 임시적 가림이 많은 시퀀스에서 뛰어난 성능을 보인다.

ABSTRACT

Robust object tracking requires knowledge and understanding of the object being tracked: its appearance, its motion, and how it changes over time. A tracker must be able to modify its underlying model and adapt to new observations. We present Re3, a real-time deep object tracker capable of incorporating temporal information into its model. Rather than focusing on a limited set of objects or training a model at test-time to track a specific instance, we pretrain our generic tracker on a large variety of objects and efficiently update on the fly; Re3 simultaneously tracks and updates the appearance model with a single forward pass. This lightweight model is capable of tracking objects at 150 FPS, while attaining competitive results on challenging benchmarks. We also show that our method handles temporary occlusion better than other comparable trackers using experiments that directly measure performance on sequences with occlusion.

연구 동기 및 목표

• 모델에 시간 정보를 효율적으로 통합하는 실시간 오브젝트 트래커를 개발하는 것.
• 재학습이나 인스턴스별 미세조정 없이도 온라인에서 외관 모델을 적응시킬 수 있도록 하는 것.
• 도전적인 트래킹 시퀀스에서 일시적인 가림에 대한 강건성을 향상시키는 것.
• 기준 데이터셋에서 경쟁적인 트래킹 정확도를 유지하면서도 높은 추론 속도를 달성하는 것.

제안 방법

• Re3는 오브젝트 외관과 운동의 시간적 의존성을 모델링하기 위해 순환 회귀 네트워크를 사용한다.
• 트래커는 실시간으로 온라인 추론을 통해 단일 프로세스를 사용해 업데이트되는 사전 훈련된 일반 모델을 사용한다.
• 경량 아키텍처 덕분에 표준 하드웨어에서 150 FPS의 고속 추론이 가능하다.
• 외관과 운동 특징이 순환 메커니즘을 통해 통합되어 시간적 맥락을 유지한다.
• 다양한 오브젝트 카테고리에서 종합적으로 훈련하여 다양한 트래킹 시나리오에 일반화되도록 한다.
• 스트리밍 관측치를 사용해 추론 중에 모델 파라미터를 업데이트함으로써 온라인 적응을 달성한다.

실험 결과

연구 질문

• RQ1 딥 트래커가 추적 중에 지속적으로 외관 모델을 업데이트하면서도 실시간 성능을 유지를 할 수 있는가?
• RQ2 순환 시간 모델링을 통합할 경우 일시적인 가림에 대한 강건성이 어떻게 향상되는가?
• RQ3 일반적인 사전 훈련된 모델이 인스턴스별 적응 없이 다양한 트래킹 시퀀스에서 경쟁적인 성능을 달성할 수 있는가?
• RQ4 오브젝트 트래킹에서 온라인 외관 모델 업데이트 시 속도와 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• Re3는 150 FPS의 추론 속도를 달성하여 실시간 응용에 적합하다.
• 최신 기술 대비 일시적인 가림이 많은 시퀀스에서 뛰어난 성능을 보였다.
• 경량 설계에도 불구하고 표준 벤치마크에서 경쟁적인 정확도를 유지했다.
• 단일 프로세스를 통한 온라인 업데이트 메커니즘이 효율적이고 지속적인 모델 적응을 가능하게 했다.
• 사전 훈련된 일반 모델은 미세조정 없이도 다양한 오브젝트 카테고리에 잘 일반화되었다.
• 순환 아키텍처는 장기적인 시간적 의존성을 효과적으로 포착하여 트래킹의 안정성을 향상시켰다.