[논문 리뷰] Hierarchical Attentive Recurrent Tracking

Adam R. Kosiorek, Alex Bewley외 1명|arXiv (Cornell University)|2017. 06. 28.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 30

한 줄 요약

이 논문은 비디오에서 단일 객체 추적 성능을 향상시키기 위해 공간, 외관, 위치 기반의 3단계 주의 계층을 갖는 생물학적으로 영감을 받은 완전 미분 가능한 모델인 계층적 주의 순환 추적(HART)을 제안한다. 순환 신경망과 다중 수준 주의, 보조 손실을 결합함으로써 HART는 KITTI 및 KTH 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 가림과 혼잡한 환경에서의 처리 능력이 뛰어나다.

ABSTRACT

Class-agnostic object tracking is particularly difficult in cluttered environments as target specific discriminative models cannot be learned a priori. Inspired by how the human visual cortex employs spatial attention and separate "where" and "what" processing pathways to actively suppress irrelevant visual features, this work develops a hierarchical attentive recurrent model for single object tracking in videos. The first layer of attention discards the majority of background by selecting a region containing the object of interest, while the subsequent layers tune in on visual features particular to the tracked object. This framework is fully differentiable and can be trained in a purely data driven fashion by gradient methods. To improve training convergence, we augment the loss function with terms for a number of auxiliary tasks relevant for tracking. Evaluation of the proposed model is performed on two datasets: pedestrian tracking on the KTH activity recognition dataset and the more difficult KITTI object tracking dataset.

연구 동기 및 목표

• 목표 클래스에 관계없이 사전에 학습된 모델을 사용할 수 없는 혼잡한 환경에서의 객체 추적 문제를 해결한다.
• 인간의 시각 주의 메커니즘을 모방함으로써 가림, 외관 변화, 간섭 요소에 대한 추적의 강건성을 향상시킨다.
• 공간적 및 외관 주의를 순환 상태 추정과 통합한 완전히 미분 가능한 엔드 투 엔드 학습이 가능한 프레임워크를 개발한다.
• 공간 주의, 외관 주의, 바운딩 박스 회귀에 대한 보조 손실을 도입함으로써 학습의 안정성과 수렴성을 향상시킨다.
• 실제 환경 데이터셋인 KITTI 및 KTH에서 이전의 주의 기반 추적기들이 실패하는 상황에서도 뛰어난 성능을 입증한다.

제안 방법

• 세 단계로 구성된 계층적 주의 메커니즘을 적용한다: (1) 관련 이미지 조각을 추출하기 위한 공간 주의, (2) 목표물 특징을 강조하는 특징 맵을 생성하기 위한 외관 주의, (3) 간섭 요소를 억제하기 위한 위치 기반 주의.
• LSTM 기반 상태 추정기를 사용하여 시간에 따른 객체 운동을 모델링하며, 은닉 상태는 주의 기반 특징에 조건화된다.
• 4개의 보조 손실을 포함한 다중 작업 학습 목표를 통합한다: 바운딩 박스 회귀, 공간 주의 손실, 외관 주의 손실, 최종 추적 출력에 대한 손실.
• 주의 파rameter가 역전파를 통해 업데이트되는 피드백 루프를 적용하여 기울기 하강법을 사용한 엔드 투 엔드 학습을 가능하게 한다.
• 특징 추출기를 사전 학습된 가중치로 초기화하고, 교육 과정 학습(curriculum learning)을 사용하여 학습을 안정화시키지만, 보조 손실이 없을 경우 효과가 떨어졌다.
• 주의 과정을 통해 기울기가 흐르도록 허용하는 미분 가능한 조각 추출 메커니즘을 적용하여 주의와 추적의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 혼잡한 비디오 시퀀스에서 간섭 요소가 흔한 환경에서 계층적 주의 메커니즘이 추적 성능을 향상시킬 수 있는가?
• RQ2 특히 외관 및 공간 주의에 대한 보조 손실을 통합함으로써 학습 수렴성과 모델의 강건성이 향상되는가?
• RQ3 dorsal 및 ventral 시각 경로를 모방하는 생물학적으로 영감을 받은 주의 계층이 기존의 순환 또는 주의 전용 추적기보다 뛰어난 성능을 낼 수 있는가?
• RQ4 목표 클래스에 대한 사전 지식 없이 학습된 모델이 가림과 외관 변화 상황에서 어떻게 대처하는가?
• RQ5 주의 기반 특징 선택이 추적에서 해석 가능성과 계산 비용 절감에 얼마나 기여하는가?

주요 결과

• 외관 주의 손실이 포함된 모델은 Figure 6(a)에서 보듯이 보행자가 다른 객체에 의해 가려진 후에도 추적을 유지함으로써 ID 교환을 효과적으로 방지한다.
• 외관 주의 손실이 없는 모델은 Figure 6(b)에서 보듯이 모호하거나 잘못된 위치 맵을 생성하여 목표물을 놓치거나 간섭 요소에 집중하는 경향이 있다.
• 공간 주의 편향은 일관되게 양의 값으로 수렴하여, 모델이 실제 바운딩 박스보다 略로 더 넓은 영역을 주의하기를 학습하고 있음을 나타내며, 운동 진동에 대한 강건성을 향상시킨다.
• 특히 공간 및 외관 주의 손실이 포함된 보조 손실이 기울기 소실을 방지하고 안정적인 학습을 가능하게 하는 데 핵심적인 역할을 하였다.
• HART는 KITTI 및 KTH 데이터셋에서 이전의 주의 기반 추적기들을 능가하여 도전적인 실세계 환경에서 최신 기술 수준의 성능을 달성하였다.
• 주의 메커니즘은 관련 특징을 강조하는 가시적 위치 맵을 생성함으로써 모델의 결정 과정을 더 투명하게 만들어 해석 가능성을 향상시켰다.