[논문 리뷰] Correlation Tracking via Joint Discrimination and Reliability Learning

Chong Sun, Dong Wang외 2명|arXiv (Cornell University)|2018. 04. 24.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 9

한 줄 요약

이 논문은 상위 필터(분류 능력)와 신뢰도 가중치 맵(내성 능력)의 원소별 곱으로 필터를 모델링하여 분류 능력과 신뢰도를 동시에 최적화하는 새로운 상관 필터 기반 트래커(DRT)를 제안한다. 局부 응답 일관성 제약과 온라인 신뢰도 학습을 도입함으로써 비균일한 특징 응답에 대한 민감도를 감소시키고, OTB-2013, OTB-2015, VOT-2016에서 최신 기술을 초월한다. VOT-2016에서 EAO 점수는 0.442를 기록하여 ECO 대비 18.2% 향상되었다.

ABSTRACT

For visual tracking, an ideal filter learned by the correlation filter (CF) method should take both discrimination and reliability information. However, existing attempts usually focus on the former one while pay less attention to reliability learning. This may make the learned filter be dominated by the unexpected salient regions on the feature map, thereby resulting in model degradation. To address this issue, we propose a novel CF-based optimization problem to jointly model the discrimination and reliability information. First, we treat the filter as the element-wise product of a base filter and a reliability term. The base filter is aimed to learn the discrimination information between the target and backgrounds, and the reliability term encourages the final filter to focus on more reliable regions. Second, we introduce a local response consistency regular term to emphasize equal contributions of different regions and avoid the tracker being dominated by unreliable regions. The proposed optimization problem can be solved using the alternating direction method and speeded up in the Fourier domain. We conduct extensive experiments on the OTB-2013, OTB-2015 and VOT-2016 datasets to evaluate the proposed tracker. Experimental results show that our tracker performs favorably against other state-of-the-art trackers.

연구 동기 및 목표

• 기존 상관 필터 트래커가 분류 능력에만 집중하고 신뢰도를 忽시함으로써 고응답이지만 신뢰도가 떨어지는 특징 영역에 과적합되는 문제를 해결하기 위해.
• 상관 필터 프레임워크 내에서 분류 능력과 신뢰도 학습을 분리하여 배경 간섭과 비균일한 특징 분포에 대한 내성을 향상시키기 위해.
• 기본 필터와 신뢰도 가중치 맵의 곱으로 필터를 모델링하는 공동 최적화 프레임워크를 개발하여 모든 목표 부분 영역이 균형 있게 기여하도록 하기 위해.
• 차폐, 변형, 배경 혼잡과 같은 도전적인 조건에서도 신뢰도 인식 필터링을 통해 트래커의 내성을 향상시키기 위해.

제안 방법

• 필터는 기본 필터와 신뢰도 가중치 맵의 원소별 곱으로 정의되어 분류 능력과 신뢰도의 별도 학습을 가능하게 한다.
• 기본 필터의 다양한 부분 영역이 동일하게 기여하도록 보장하기 위해 局부 응답 일관성 제약 조건을 도입한다.
• 기본 필터와 함께 온라인으로 신뢰도 가중치 맵을 학습하기 위해 교차 최적화 문제를 해결하기 위해 교차 방향 방법을 사용한다.
• 상관 필터 기반 트래킹의 효율성을 유지하기 위해 푸리에 도메인을 활용하여 최적화를 가속화한다.
• 기본 필터와 신뢰도 맵의 공동 최적화를 위한 새로운 목적 함수를 사용하여 엔드 투 엔드 학습을 수행한다.
• 표준 벤치마크를 사용하여 프레임워크를 평가하였으며, 분해 분석을 통해 각 구성 요소의 기여도를 확인하였다.

실험 결과

연구 질문

• RQ1 상관 필터 내에서 분류 능력과 신뢰도를 동시에 학습하는 것이 도전적인 시각 조건에서 트래킹 내성에 향상되는가?
• RQ2 국소 응답 일관성 제약 조건을 도입함으로써 특징 맵에서 고응답이지만 신뢰도가 떨어지는 영역의 영향을 줄일 수 있는가?
• RQ3 온라인으로 학습된 신뢰도 가중치 맵이 기존 방법보다 목표 부분 영역 전반에 걸쳐 진정된 추적 신뢰도를 더 잘 반영할 수 있는가?
• RQ4 다양한 벤치마크에서 최신 기술 트래커와 비교했을 때, 정확도, 내성, 일반화 능력 측면에서 제안된 방법은 어떠한가?

주요 결과

• 제안된 DRT 트래커는 VOT-2016 벤치마크에서 EAO 점수 0.442를 기록하여 이전 최고 성능 기법인 ECO(0.374) 대비 18.2% 상대적 향상률을 기록하였다.
• OTB-2015 데이터셋에서 기반 모델 대비 거리 정밀도 3.5% 향상 및 AUC 점수 2.3% 향상으로, 기본 필터와 신뢰도 맵의 공동 학습이 성능 향상에 기여하였다.
• 분해 분석 결과, 신뢰도 학습이 크게 기여하며, 기반 모델에 국소 응답 일관성만 도입한 경우 대비 OTB-2015에서 AUC 점수 1.5% 향상, VOT-2016에서 EAO 점수 2.3% 향상되었다.
• VOT-2016 데이터셋에서 모든 비교 방법 대비 실패율이 가장 낮아, 트래커가 뛰어난 내성을 보였다.
• 특징 맵이 비균일하게 활성화되어도, 신뢰도 가중치 맵이 신뢰도가 떨어지는 영역을 저감시키기 때문에 배경 영향을 효과적으로 억제하였다.
• 실패 사례는 주로 급격한 변형이나 혼잡한 배경에서 기인하며, 향후 광학 흐름과의 통합을 통해 운동 처리 능력을 향상시킬 수 있을 것으로 기대된다.