[논문 리뷰] Learning Deep Multi-Level Similarity for Thermal Infrared Object Tracking

Qiao Liu, Xin Li외 4명|arXiv (Cornell University)|2019. 06. 09.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 11

한 줄 요약

이 논문은 열화상(TIR) 객체 추적을 위한 강력한 성능을 발휘하는 Siamese 네트워크 기반 추적기인 MLSSNet을 제안한다. 이는 전역적 의미적 특징과 국소적 구조적 특징을 융합한 다수준 유사도를 학습함으로써, 간섭물체에 대한 분류 능력을 향상시킨다. 상대 엔트로피 기반 적응형 앙상블을 통한 특징 융합과 새로 구축한 대규모 TIR 데이터셋을 활용한 훈련을 통해, VOT-TIR2015 및 VOT-TIR2017 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing deep Thermal InfraRed (TIR) trackers only use semantic features to describe the TIR object, which lack the sufficient discriminative capacity for handling distractors. This becomes worse when the feature extraction network is only trained on RGB images.To address this issue, we propose a multi-level similarity model under a Siamese framework for robust TIR object tracking. Specifically, we compute different pattern similarities on two convolutional layers using the proposed multi-level similarity network. One of them focuses on the global semantic similarity and the other computes the local structural similarity of the TIR object. These two similarities complement each other and hence enhance the discriminative capacity of the network for handling distractors. In addition, we design a simple while effective relative entropy based ensemble subnetwork to integrate the semantic and structural similarities. This subnetwork can adaptive learn the weights of the semantic and structural similarities at the training stage. To further enhance the discriminative capacity of the tracker, we construct the first large scale TIR video sequence dataset for training the proposed model. The proposed TIR dataset not only benefits the training for TIR tracking but also can be applied to numerous TIR vision tasks. Extensive experimental results on the VOT-TIR2015 and VOT-TIR2017 benchmarks demonstrate that the proposed algorithm performs favorably against the state-of-the-art methods.

연구 동기 및 목표

• 기존의 RGB 데이터에서 훈련되는 깊이 신경망 기반 TIR 추적기들이 의미적 특징에만 의존하여 분류 능력이 제한된 점을 해결한다.
• 색상 및 질감 정보가 부족한 TIR 영상에서 발생하는 가림, 외관 변화, 간섭물체 등의 과제를 극복한다.
• Siamese 프레임워크 내에서 전역적 의미적 특징과 국소적 구조적 특징의 유사도를 동시에 학습하여 특징 표현 능력을 향상시킨다.
• 모델 훈련의 강건성과 일반화 능력을 향상시키기 위해 수작업으로 레이블링된 대규모 TIR 영상 데이터셋을 구축한다.
• 다수준 유사도 융합과 적응형 가중치 부여를 통해 표준 TIR 추적 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 깊은 합성곱층에서 의미적 유사도를 계산하고, 보다 얕은 층에서 구조적 유사도를 계산하여 전역적 및 국소적 패턴을 포괄하는 다수준 유사도 네트워크를 제안한다.
• TIR 객체 쌍 간의 국소적 구조적 패턴을 추출하고 비교하기 위해 구조적 상관 유사도 네트워크(CSN)를 설계한다.
• 고수준 특징을 이용해 전역적 의미적 유사도를 계산하기 위해 의미적 CSN을 설계한다.
• 훈련 중 의미적 유사도와 구조적 유사도의 최적 융합 가중치를 학습하는 상대 엔트로피 기반 적응형 앙상블 네트워크(REN)를 도입한다.
• 430개의 영상, 180,000개 이상의 프레임, 200,000개 이상의 바운딩 박스를 포함한 첫 번째 대규모 TIR 영상 데이터셋을 구축한다.
• 새로운 TIR 데이터셋을 사용하여 Siamese 네트워크를 엔드 투 엔드로 훈련시켜 특징의 분류 능력과 추적기의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 의미적 특징과 구조적 특징을 융합한 다수준 유사도 학습이 TIR 객체 추적에서 분류 능력을 향상시키는가?
• RQ2 적응형이며 학습 가능한 메커니즘을 통해 의미적 및 구조적 유사도를 융합하면 어려운 조건에서도 추적 성능이 향상되는가?
• RQ3 RGB 데이터에서의 사전 훈련 대비 전용 TIR 데이터셋에서 훈련하면 추적기의 강건성은 어느 정도 향상되는가?
• RQ4 다양한 과제, 예를 들어 가림, 외관 변화, 간섭물체가 존재하는 상황에서 제안된 방법은 표준 벤치마크에서 어떻게 성능을 내는가?
• RQ5 정확도와 강건성 다각도 평가 지표에서 최신 기술 수준의 TIR 추적기들을 능가할 수 있는가?

주요 결과

• 제안된 MLSSNet은 VOT-TIR2017 벤치마크에서 EAO 점수 0.637을 기록하여 비교된 모든 최신 기술 수준의 방법들을 능가한다.
• VOT-TIR2015에서 MLSSNet은 EAO 0.603을 달성하여 복잡한 추적 과제를 효과적으로 처리하는 데서 뛰어난 성능을 보였다.
• VOT-TIR2017의 다이내믹스 변화 및 빈도 도전 과제에서 최고 성능을 기록했으며, 새로운 TIR 데이터셋에서 훈련한 경우 EAO 점수 3% 향상되었다.
• 운동 변화 상황에서 MLSSNet은 VOT-TIR2017에서 CFNet 대비 EAO 5% 향상되었고, VOT-TIR2015에서는 3% 향상되어 운동 변화에 대한 강건성이 향상됨을 보였다.
• 크기 변화 상황에서 MLSSNet은 VOT-TIR2015에서 Siamese-FC 대비 EAO 18% 향상되었고, VOT-TIR2017에서는 5% 향상되어 강력한 척도 강건성을 보였다.
• 시각화 결과는 MLSSNet이 심각한 외관 변화와 간섭물체 간섭 상황에서도 정확한 추적을 유지하며 Siamese-FC 및 HSSNet을 능가함을 확인했다.