[논문 리뷰] Joint Group Feature Selection and Discriminative Filter Learning for Robust Visual Object Tracking

Tianyang Xu, Zhenhua Feng외 2명|View|2019. 07. 30.

Video Surveillance and Tracking MethodsComputer Science참고 문헌 90인용 수 22

한 줄 요약

이 논문은 강건한 시각적 객체 추적을 위한 새로운 통합 그룹 특징 선택 및 분류 필터 학습 프레임워크인 GFS-DCF를 제안한다. 채널 및 공간 차원 전역에서 그룹 스parserity를 강제 적용하고, 저질서 시간적 스무딩 제약 조건을 적용함으로써, 필터의 분류 능력을 향상시키고 딥 특징의 부복잡성을 줄이며, OTB2013, OTB2015, VOT2017, VOT2018 및 TrackingNet에서 최신 기술 수준의 성능을 달성한다. 이는 경쟁적인 추론 속도를 함께 제공한다.

ABSTRACT

We propose a new Group Feature Selection method for Discriminative Correlation Filters (GFS-DCF) based visual object tracking. The key innovation of the proposed method is to perform group feature selection across both channel and spatial dimensions, thus to pinpoint the structural relevance of multi-channel features to the filtering system. In contrast to the widely used spatial regularisation or feature selection methods, to the best of our knowledge, this is the first time that channel selection has been advocated for DCF-based tracking. We demonstrate that our GFS-DCF method is able to significantly improve the performance of a DCF tracker equipped with deep neural network features. In addition, our GFS-DCF enables joint feature selection and filter learning, achieving enhanced discrimination and interpretability of the learned filters. To further improve the performance, we adaptively integrate historical information by constraining filters to be smooth across temporal frames, using an efficient low-rank approximation. By design, specific temporal-spatial-channel configurations are dynamically learned in the tracking process, highlighting the relevant features, and alleviating the performance degrading impact of less discriminative representations and reducing information redundancy. The experimental results obtained on OTB2013, OTB2015, VOT2017, VOT2018 and TrackingNet demonstrate the merits of our GFS-DCF and its superiority over the state-of-the-art trackers. The code is publicly available at https://github.com/XU-TIANYANG/GFS-DCF.

연구 동기 및 목표

• DCF 기반 추적에서 다중 채널 딥 특징의 구조적 관련성에 대한 체계적인 탐색 부족 문제를 해결하기 위해.
• 통합 채널 및 공간 그룹 특징 선택을 통해 고차원 딥 특징 내 정보의 부복잡성과 무관한 요소를 줄이기 위해.
• 통합 특징 선택 및 필터 학습을 통한 유일한 최적화 프레임워크를 통해 필터의 분류 능력과 해석 가능성을 향상시키기 위해.
• 프레임 간 저질서 근사에 의한 필터의 시간적 스무딩을 강제 적용하여 추적의 안정성을 향상시키기 위해.
• 추적 도중 최적의 시간-공간-채널 구성 구성을 동적으로 학습하여 강건한 성능을 달성하기 위해.

제안 방법

• 해당 방법은 상관 필터에 대해 구조적으로 관련 있는 특징을 식별하기 위해 채널 및 공간 차원 전역에서 그룹 특징 선택을 수행한다.
• 채널 및 공간 차원에서 그룹 스퍼스리티를 강제 적용하는 통합 최적화 문제를 설정하여 불필요하고 중복된 특징을 억제한다.
• 필터 업데이트가 시간적 프레임 간에 스무딩되도록 저질서 근사를 적용함으로써 안정성과 일반화 능력을 향상시킨다.
• 엔드 투 엔드 방식으로 필터 학습과 특징 선택을 동시에 수행하여 추적 도중 적응형 구성 학습이 가능하도록 한다.
• 비볼록성 및 비연속성 문제를 효율적으로 다루기 위해 분할 수식을 이용한 다중 승수 방법(ADMM)을 최적화에 적용한다.
• 딥 신경망 특징과 호환되며, 재학습이 필요 없이 DCF 추적 파라다임 내에서 작동하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 채널 및 공간 차원에서의 통합 그룹 특징 선택이 DCF 기반 추적기의 성능 향상에 기여하는가?
• RQ2 공간 정규화 외에 채널 수준의 특징 선택을 통합함으로써 분류 능력 향상과 부복잡성 감소가 이루어지는가?
• RQ3 저질서 근사를 통한 필터의 시간적 스무딩이 추적의 안정성과 강건성 향상에 기여하는가?
• RQ4 다양한 벤치마크에서 정확도, 강건성 및 속도 측면에서 최신 기술 수준의 추적기들과 비교해 볼 때, 제안된 방법의 성능는 어떠한가?
• RQ5 다양한 특징 유형(수작업 특징 vs. 딥 특징)이 그룹 선택 전략의 효과성에 어떤 영향을 미치는가?

주요 결과

• OTB2013에서 GFS-DCF는 정밀도 95.0%와 위치 오차 5.92 픽셀을 달성하여, VITAL과 MetaT를 각각 8.4%와 5.58 픽셀 뛰어넘었다.
• OTB2015에서 GFS-DCF는 성공률 89.0%와 위치 오차 10.3 픽셀을 기록하여, ECO보다 정밀도 4.1% 높고 오차 4.5 픽셀 낮았다.
• VOT2017 및 VOT2018에서 GFS-DCF는 EAO 점수 0.397을 기록하며 최고 성능를 달성했고, 정확도(0.511)와 강건성(0.143)에서도 상위 3위 이내 성과를 기록했다.
• TrackingNet에서 GFS-DCF는 정규화된 정밀도 71.79%를 달성하여 CACF와 ECO를 뛰어넘었고, 계산 비용이 훨씬 낮은 수준에서 MDNet의 성능에 근접했다.
• OTB2013에서 GFS-DCF는 7.8 fps의 속도를 기록하여 정확도와 추론 효율성 간의 유리한 트레이드오프를 보였다.
• 제거 분석 결과, 공간 및 채널 모두에 대한 통합 그룹 스퍼스리티가 공간 또는 채널 전용 선택보다 더 우수한 성능을 내는 것으로 확인되어, 본 방법의 설계가 타당함을 입증했다.