[논문 리뷰] Multi-hierarchical Independent Correlation Filters for Visual Tracking

Shuai Bai, Zhiqun He외 4명|arXiv (Cornell University)|2018. 11. 26.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 21

한 줄 요약

이 논문은 다층적 깊이 특징을 별개의 상관 필터 브랜치를 통해 독립적으로 처리하고, 교착 상태를 다루기 위해 운동 추정을 통합하며, 적응형 융합을 통해 정확도를 향상시키는 새로운 시각 추적 프레임워크인 다층 독립 상관 필터(MHIT)를 제안한다. 이 방법은 OTB 및 VOT 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, VOT2017에서 상위 추적기 대비 20.1%의 상대적 향상률을 기록했고, VOT2018에서도 최신 기술 수준의 결과를 달성하였다.

ABSTRACT

For visual tracking, most of the traditional correlation filters (CF) based methods suffer from the bottleneck of feature redundancy and lack of motion information. In this paper, we design a novel tracking framework, called multi-hierarchical independent correlation filters (MHIT). The framework consists of motion estimation module, hierarchical features selection, independent CF online learning, and adaptive multi-branch CF fusion. Specifically, the motion estimation module is introduced to capture motion information, which effectively alleviates the object partial occlusion in the temporal video. The multi-hierarchical deep features of CNN representing different semantic information can be fully excavated to track multi-scale objects. To better overcome the deep feature redundancy, each hierarchical features are independently fed into a single branch to implement the online learning of parameters. Finally, an adaptive weight scheme is integrated into the framework to fuse these independent multi-branch CFs for the better and more robust visual object tracking. Extensive experiments on OTB and VOT datasets show that the proposed MHIT tracker can significantly improve the tracking performance. Especially, it obtains a 20.1% relative performance gain compared to the top trackers on the VOT2017 challenge, and also achieves new state-of-the-art performance on the VOT2018 challenge.

연구 동기 및 목표

• 기존 상관 필터 기반 추적기에서의 특징 중복성과 운동 모델링 부족 문제를 해결하기 위해.
• 시각 추적에서 교착 상태, 척도 변화, 외형 변화에 대한 강인성을 향상시키기 위해.
• 특징 융합에 의한 중복성을 유발하지 않으면서도 CNN의 계층적 깊이 특징을 효과적으로 활용하기 위해.
• 추적 정확도와 안정성을 향상시키는 다중 브랜치 및 적응형 융합 메커니즘을 설계하기 위해.
• 표준 시각 추적 벤치마크에서 새로운 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 시간 연속성을 활용해 목표물의 운동을 예측하는 운동 추정 모듈을 도입하여 부분적 교착 상태에 대한 내성을 향상시킨다.
• 사전 훈련된 CNN(예: ResNet, DenseNet)에서 다층적 깊이 특징을 추출하여 다양한 의미 수준을 표현한다.
• 각 계층적 특징을 별개의 상관 필터 브랜치를 통해 독립적으로 처리하여 특징 중복성과 차원의 문제를 방지한다.
• 시간적 데이터 기반으로 각 별개의 브랜치 내에서 온라인 학습을 적용하여 필터 파라미터를 적응적으로 갱신한다.
• 신뢰도와 신뢰성에 기반해 다양한 브랜치의 출력을 동적으로 가중하는 적응형 다중 브랜치 융합 전략을 적용한다.
• 운동 추정에 의해 정의된 검색 영역을 사용하여 계산 비용을 줄이고 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 상관 필터 내에서 계층적 깊이 특징을 독립적으로 처리하면 중복성을 줄이고 추적 강인성을 향상시킬 수 있는가?
• RQ2 운동 추정을 통합하면 부분적 교착 상태 및 변형 상황에서 성능이 어떻게 향상되는가?
• RQ3 다양한 독립적 상관 필터 브랜치의 적응형 융합 전략이 고정 가중치나 연결된 융합 전략보다 우월한가?
• RQ4 깊이 있는 백본 네트워크(예: ResNet, SE-ResNet)를 독립적 필터링과 결합할 경우 추적 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 MHIT 프레임워크는 OTB 및 VOT와 같은 표준 시각 추적 벤치마크에서 최신 기술 수준의 성능를 달성하는가?

주요 결과

• MHIT는 VOT2017 챌린지에서 상위 추적기 대비 20.1%의 상대적 성능 향상을 기록하여 뚜렷한 향상을 입증하였다.
• VOT2018 벤치마크에서 새로운 최신 기술 수준의 성능를 달성하여 강인성과 일반화 능력을 확인하였다.
• SE-ResNet50를 사용하고 특정 특징(예: Res3d 및 Conv1x)을 선택할 경우 EAO가 0.388에 도달하여 VGG-M 또는 ResNet50만을 사용한 모델보다 뛰어난 성능를 기록하였다.
• 운동 추정 모듈은 짧은 기간의 부분적 교착 상태 하에서도 추적 성능를 향상시켰으며, 그 결과는 그림 10에서 시각적으로 확인되었다.
• 적응형 다중 브랜치 융합 메커니즘이 기본 모델 대비 EAO에서 8.5% 향상시켜 그 효과를 입증하였다.
• 각 브랜치별 독립 학습은 특징 중복성을 감소시켰으며, 인접한 레이어를 융합할 경우 간섭으로 인해 성능 저하가 발생함을 확인하였다.