[논문 리뷰] Deep Attentive Tracking via Reciprocative Learning

Shi Pu, Yibing Song외 3명|arXiv (Cornell University)|2018. 10. 09.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 8

한 줄 요약

이 논문은 분류 점수의 역전파를 통해 얻은 기울기 기반의 주의 맵을 학습 중 정규화 항으로 사용하여, 시각적 주의를 딥 트래킹-디텍션 네트워크에 통합하는 상호학습 프레임워크를 제안한다. 별도의 주의 모듈을 추가하는 기존 방법들과는 달리, 이 방법은 분류 점수를 역전파하여 시간적으로 안정된 특징에 초점을 맞추도록 분류기를 유도하는 주의 맵을 생성한다. 이로 인해 OTB-2013, OTB-2015, VOT-2016 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Visual attention, derived from cognitive neuroscience, facilitates human perception on the most pertinent subset of the sensory data. Recently, significant efforts have been made to exploit attention schemes to advance computer vision systems. For visual tracking, it is often challenging to track target objects undergoing large appearance changes. Attention maps facilitate visual tracking by selectively paying attention to temporal robust features. Existing tracking-by-detection approaches mainly use additional attention modules to generate feature weights as the classifiers are not equipped with such mechanisms. In this paper, we propose a reciprocative learning algorithm to exploit visual attention for training deep classifiers. The proposed algorithm consists of feed-forward and backward operations to generate attention maps, which serve as regularization terms coupled with the original classification loss function for training. The deep classifier learns to attend to the regions of target objects robust to appearance changes. Extensive experiments on large-scale benchmark datasets show that the proposed attentive tracking method performs favorably against the state-of-the-art approaches.

연구 동기 및 목표

• 영상 시퀀스에서 큰 외관 변화를 겪는 객체를 추적하는 과제를 해결하기 위해.
• 외부 주의 모듈에 의존하지 않고 트래킹-디텍션 프레임워크 내의 딥 분류기의 판별 능력을 향상시키기 위해.
• 주의 정규화를 통한 엔드 투 엔드 학습을 통해 딥 분류기가 시간적으로 안정된 특징에 주의를 기울일 수 있도록 유도하기 위해.
• 기울기 유도 주의 맵을 감독으로 활용하여 배경 간섭을 줄이고 국소화 정확도를 향상시키기 위해.

제안 방법

• 딥 네트워크를 통해 입력 샘플의 분류 점수를 계산하기 위해 전방 전파를 수행한다.
• 최종 레이어에서 입력 레이어로 향하는 역전파를 수행하여, 분류 점수에 대한 입력에 대한 편미분을 계산한다.
• 입력 레이어에서 얻어진 기울기 맵을 분류에 대해 픽셀 단위 중요도를 나타내는 주의 맵으로 해석한다.
• 이 주의 맵을 손실 함수의 정규화 항으로 사용하며, 기존의 분류 손실과 함께 학습에 통합한다.
• 표준 역전파를 통해 네트워크를 학습시켜, 분류기가 시간에 따라 안정적인 특징에 주의를 기울일 수 있도록 유도한다.
• 추론 과정에서는 주의 맵을 생성하지 않으며, 훈련된 분류기가 각 제안 영역에 대해 직접 점수를 예측한다.

실험 결과

연구 질문

• RQ1 기울기 기반 주의 맵이 딥 분류기를 효과적으로 정규화하여 추적 강건성을 향상시킬 수 있는가?
• RQ2 주의 정규화를 통한 엔드 투 엔드 학습이 별도의 주의 모듈을 사용하는 방법보다 우월한가?
• RQ3 명시적인 주의 모듈 없이도 분류기가 시간적으로 일관된 특징에 주의를 기울일 수 있는가?
• RQ4 대규모 벤치마크에서 제안된 방법은 최신 기술 수준의 트래커와 비교해 어떻게 성능을 내는가?

주요 결과

• OTB-2013 데이터셋에서 제안된 트래커는 중심 위치 오차 13.99와 오버랩 성공률 0.860을 기록하여 베이스라인 MDNet을 능가한다.
• OTB-2015에서 이 방법은 중심 위치 오차 14.65와 오버랩 성공률 0.780를 기록하여 연속적 샘플링을 사용하지 않음에도 불구하고 뛰어난 성능을 보였다.
• VOT-2016에서 트래커는 EAO 점수 0.320을 기록하여 비교된 7개의 트래커 중 두 번째로 높은 순위를 기록했으며, 정확도 순위 1.47과 강건성 순위 2.10을 기록했다.
• 이 뿐만 아니라, 보조 데이터에 대한 오프라인 사전 훈련 없이도 기존의 MDNet에 비해 중심 위치 오차와 성공률에서 뚜렷한 향상을 보였다.
• 제안된 방법은 모든 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여, 기울기 기반 주의를 통한 상호학습의 효과성을 입증했다.