[논문 리뷰] Large Margin Structured Convolution Operator for Thermal Infrared Object Tracking

Peng Gao, Yipeng Ma외 4명|arXiv (Cornell University)|2018. 04. 19.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 5

한 줄 요약

이 논문은 구조적 출력 서포트 벡터 머신(SOSVM)의 분류 능력과 특징 기반 상관 필터(DCF)의 효율성을 융합한 새로운 열화상(TIR) 객체 추적 방법인 대용량 구조적 컨볼루션 연산자(LMSCO)를 제안한다. 사전 훈련된 네트워크에서 유도한 깊이 있는 외관 및 운동 특징을 활용하고, 연속적인 특징 맵을 생성하기 위해 공간 정규화와 암시적 보간을 적용하며, 온라인 공동 최적화 전략을 통해 LMSCO는 높은 프레임 레이트를 유지하면서 VOT-TIR2015 및 VOT-TIR2016 벤치마크에서 최신 기술 수준의 정확도와 강인성을 달성한다.

ABSTRACT

Compared with visible object tracking, thermal infrared (TIR) object tracking can track an arbitrary target in total darkness since it cannot be influenced by illumination variations. However, there are many unwanted attributes that constrain the potentials of TIR tracking, such as the absence of visual color patterns and low resolutions. Recently, structured output support vector machine (SOSVM) and discriminative correlation filter (DCF) have been successfully applied to visible object tracking, respectively. Motivated by these, in this paper, we propose a large margin structured convolution operator (LMSCO) to achieve efficient TIR object tracking. To improve the tracking performance, we employ the spatial regularization and implicit interpolation to obtain continuous deep feature maps, including deep appearance features and deep motion features, of the TIR targets. Finally, a collaborative optimization strategy is exploited to significantly update the operators. Our approach not only inherits the advantage of the strong discriminative capability of SOSVM but also achieves accurate and robust tracking with higher-dimensional features and more dense samples. To the best of our knowledge, we are the first to incorporate the advantages of DCF and SOSVM for TIR object tracking. Comprehensive evaluations on two thermal infrared tracking benchmarks, i.e. VOT-TIR2015 and VOT-TIR2016, clearly demonstrate that our LMSCO tracker achieves impressive results and outperforms most state-of-the-art trackers in terms of accuracy and robustness with sufficient frame rate.

연구 동기 및 목표

• 색상 패턴 부족과 해상도 낮음 등의 문제로 인한 TIR 객체 추적의 한계를 깊이 있는 특징과 강력한 학습 프레임워크를 활용해 보완하기 위해.
• 고차원의 깊이 있는 외관 및 운동 특징을 통합하여 열화상 환경에서의 추적 성능을 향상시키기 위해.
• SOSVM의 계산 병목 현상을 해결하기 위해 효율적인 DCF 프레임워크와 융합하여 실시간 추론을 가능하게 하기 위해.
• 동시에 추적 정확도와 속도를 향상시키는 공동 최적화 전략을 개발하기 위해.

제안 방법

• SOSVM의 분류 강도와 DCF의 계산 효율성을 융합한 대용량 구조적 컨볼루션 연산자(LMSCO)를 제안한다.
• 공간 정규화와 암시적 보간을 적용하여 TIR 시퀀스에서 연속적이고 고품질의 깊이 특징 맵을 생성한다.
• 가시 영역 이미지에서 사전 훈련된 CNN을 활용해 TIR 추적을 위한 깊이 있는 외관 및 운동 특징을 추출함으로써 더 rich한 표현을 가능하게 한다.
• SOSVM 프레임워크 내에서 순환 행렬과 상관 필터를 사용하여 고밀도 샘플링을 통한 빠른 온라인 훈련을 가능하게 한다.
• 추론 중에 추적 연산자를 효율적으로 갱신하기 위해 온라인 공동 최적화 전략을 도입한다.
• 깊이 있는 외관 및 운동 특징을 동시에 활용하여 저조도, 저해상도 TIR 조건에서의 특징 다양성과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 SOSVM 및 DCF 프레임워크의 융합이 열화상 객체 추적에서 정확도와 속도를 향상시키는가?
• RQ2 사전 훈련된 가시 영역 네트워크에서 추출한 깊이 있는 외관 및 운동 특징은 TIR 추적에 얼마나 효과적인가?
• RQ3 공간 정규화와 암시적 보간은 저해상도 TIR 시퀀스에서 깊이 특징 맵의 품질을 향상시키는가?
• RQ4 온라인 공동 최적화 전략은 TIR 추적에서 성능과 추론 속도를 상당히 향상시키는가?
• RQ5 제안된 방법은 정확도, 강인성, 프레임 레이트 측면에서 표준 TIR 벤치마크에서 최신 기술 수준의 추적기들을 능가하는가?

주요 결과

• LMSCO는 VOT-TIR2016 벤치마크에서 EAO 점수 42.8%를 기록하여 이전 최신 기술 수준의 추적기인 SRDCF(36.4%)를 6.4%의 절대 점수 향상으로 능가한다.
• VOT-TIR2016에서 평균, 풀드, 가중 평균 AR 플롯을 포함한 모든 평가 지표에서 최고의 정확도와 강인성을 확보한다.
• MDNet, SRDCF, Staple, GGT2를 포함한 9종의 최신 기술 수준 추적기들과 비교해 모든 평가 프로토콜에서 뛰어난 성능을 보였다.
• 깊이 있는 외관 및 운동 특징의 융합은 단일 특징 기반 베이스라인 및 수작업 특징에 비해 추적 성능을 크게 향상시켰다.
• 제안된 공동 최적화 전략은 고정확도와 강인성을 유지하면서도 고프레임 레이트로 실시간 추적을 가능하게 했다.
• 그림 1의 시각적 비교 결과, LMSCO는 '숨기기'와 '쿼드로코pter'와 같은 도전적인 시퀀스에서 더 좁고 일관된 바운딩 박스를 유지하는 것으로 확인되었다.