[논문 리뷰] Multi-Task Driven Feature Models for Thermal Infrared Tracking

Qiao Liu, Xin Li외 5명|arXiv (Cornell University)|2019. 11. 26.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 8

한 줄 요약

이 논문은 열화상 적외선(TIR) 객체 추적을 위한 다중 작업 기반 특징 학습 프레임워크를 제안하며, 분류 브랜치를 통해 TIR에 특화된 분류 특징과 통합적이고 픽셀 수준의 상관관계 모듈을 통해 미세한 상관관계 특징을 도입한다. 이 방법은 새로 구축한 대규모 TIR 데이터셋을 사용하여 VOT-TIR2015, VOT-TIR2017, PTB-TIR 벤치마크에서 기준 추적기 대비 10%의 상대적 성능 향상을 달성하고 최신 기술 수준(SOTA) 성능을 기록한다.

ABSTRACT

Existing deep Thermal InfraRed (TIR) trackers usually use the feature models of RGB trackers for representation. However, these feature models learned on RGB images are neither effective in representing TIR objects nor taking fine-grained TIR information into consideration. To this end, we develop a multi-task framework to learn the TIR-specific discriminative features and fine-grained correlation features for TIR tracking. Specifically, we first use an auxiliary classification network to guide the generation of TIR-specific discriminative features for distinguishing the TIR objects belonging to different classes. Second, we design a fine-grained aware module to capture more subtle information for distinguishing the TIR objects belonging to the same class. These two kinds of features complement each other and recognize TIR objects in the levels of inter-class and intra-class respectively. These two feature models are learned using a multi-task matching framework and are jointly optimized on the TIR tracking task. In addition, we develop a large-scale TIR training dataset to train the network for adapting the model to the TIR domain. Extensive experimental results on three benchmarks show that the proposed algorithm achieves a relative gain of 10% over the baseline and performs favorably against the state-of-the-art methods. Codes and the proposed TIR dataset are available at {https://github.com/QiaoLiuHit/MMNet}.

연구 동기 및 목표

• RGB 기반 딥 특징이 열화상 적외선(TIR) 추적에서 TIR에 특화된 객체 표현에 효과적이지 못한 점을 해결하기 위해.
• 다른 클래스 간 및 같은 클래스 내 객체를 구분할 수 있는 특징을 학습하여 TIR 추적에서 분류 능력을 향상시키기 위해.
• TIR에 특화된 분류 특징과 미세한 상관관계 특징을 동시에 최적화하는 다중 작업 학습 프레임워크를 개발하여 추적의 강건성을 향상시키기 위해.
• 30개의 클래스, 1,100개 이상의 시퀀스, 45만 개 이상의 애너테이션 프레임을 포함하는 대규모 고품질 TIR 영상 데이터셋을 구축하여 딥 모델이 TIR 도메인에 더 잘 적응하도록 하기 위해.

제안 방법

• TIR에 특화된 분류 특징과 미세한 상관관계 특징을 동시에 최적화할 수 있도록 두 가지 상호보완적인 특징 학습 브랜치를 갖춘 다중 작업 매칭 프레임워크를 설계하였다.
• TIR에 특화된 분류 특징의 학습을 유도하기 위해 보조 분류 네트워크를 사용하여 서로 다른 TIR 객체 카테고리 간의 분류 능력을 향상시켰다.
• 미세한 상관관계 인식 네트워크를 도입하여 통합적 상관관계 모듈과 픽셀 수준의 상관관계 모듈을 결합하여 같은 클래스 내 객체 간의 세밀한 공간적 관계를 포착하였다.
• TIR에 특화된 분류 특징은 다중 클래스 분류 손실을 통해 최적화되었고, 미세한 상관관계 특징은 다중 작업 프레임워크 내에서 매칭 손실을 통해 학습되었다.
• 30개의 클래스, 1,100개 이상의 시퀀스, 45만 개의 프레임, 53만 개의 애너테이션 바운딩 박스를 포함하는 대규모 TIR 데이터셋을 구축하여 TIR 도메인에서 모델을 효과적으로 훈련시켰다.
• 모델은 혼합 훈련 전략을 사용하여 RGB 데이터로 사전 훈련된 경우에도 강력한 일반화 능력을 확보하였다.

실험 결과

연구 질문

• RQ1 다중 작업 학습 프레임워크가 TIR에 특화된 분류 특징과 미세한 상관관계 특징을 효과적으로 융합하여 추적 성능을 향상시킬 수 있는가?
• RQ2 제안된 TIR에 특화된 특징 모델은 RGB 사전 훈련 특징에 비해 열화상 데이터에서 분류 능력 측면에서 어떻게 비교되는가?
• RQ3 대규모 도메인 전용 TIR 데이터셋은 딥 TIR 추적기의 일반화 능력과 강건성에 어느 정도 기여하는가?
• RQ4 차폐 및 외관 변화와 같은 도전적인 조건에서도 제안된 방법이 최신 기술 수준의 매칭 기반 및 상관 필터 기반 TIR 추적기보다 우수한 성능을 내는가?
• RQ5 미세한 상관관계 특징의 통합은 같은 클래스 내 유사한 간섭 물체를 구분하는 데서 성능 향상에 크게 기여하는가?

주요 결과

• 제안된 방법은 PTB-TIR 벤치마크에서 기준 추적기 대비 성공률에서 10%의 상대적 향상을 달성하여 뚜렷한 개선을 보였다.
• VOT-TIR2017에서 메서드는 0.320의 최고 EAO 점수를 기록하여 TCNN 및 ECO-deep를 포함한 모든 최신 기술 수준의 방법들을 능가했다.
• VOT-TIR2015에서 메서드는 0.344의 EAO 점수를 기록하여 비교된 모든 추적기 중에서 가장 높은 성능을 기록하여 뛰어난 강건성을 입증했다.
• PTB-TIR에서 메서드는 성공률 0.539, 정밀도 0.759를 기록하여 CFNet 대비 상대적 성공률 향상 10%를 달성했다.
• TIR 데이터 없이 훈련된 모델(MMNet-VID)도 CFNet 대비 성공률 6% 향상을 기록하여 다중 작업 아키텍처가 강력한 일반화 능력을 지닌다는 것을 보여주었다.
• VOT-TIR2017의 동적 변화 챌린지에서 메서드는 CFNet 대비 EAO 점수 9.3% 향상, 카메라 이동 챌린지에서는 4.2% 향상하여 강건성이 향상되었음을 확인했다.