[논문 리뷰] Adaptive Decontamination of the Training Set: A Unified Formulation for Discriminative Visual Tracking

Martin Danelljan, G Hager외 2명|arXiv (Cornell University)|2016. 09. 20.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 36

한 줄 요약

이 논문은 분류 기반 시각 추적 프레임워크에서 동시에 외곽선 모델과 샘플 품질 가중치를 최적화함으로써 훈련 데이터셋을 적응적으로 정제하는 통합적이고 공동 학습 형식을 제안한다. 오염된 샘플(예: 정렬 불량, 가림)에 대해 가중치를 낮추고 정확한 샘플에 대해 가중치를 높이는 단일 손실 함수를 최소화함으로써, OTB-2015에서 평균 오버랩 정밀도가 3.8% 향상되어 최신 기준 성능을 달성한다.

ABSTRACT

Tracking-by-detection methods have demonstrated competitive performance in recent years. In these approaches, the tracking model heavily relies on the quality of the training set. Due to the limited amount of labeled training data, additional samples need to be extracted and labeled by the tracker itself. This often leads to the inclusion of corrupted training samples, due to occlusions, misalignments and other perturbations. Existing tracking-by-detection methods either ignore this problem, or employ a separate component for managing the training set. We propose a novel generic approach for alleviating the problem of corrupted training samples in tracking-by-detection frameworks. Our approach dynamically manages the training set by estimating the quality of the samples. Contrary to existing approaches, we propose a unified formulation by minimizing a single loss over both the target appearance model and the sample quality weights. The joint formulation enables corrupted samples to be down-weighted while increasing the impact of correct ones. Experiments are performed on three benchmarks: OTB-2015 with 100 videos, VOT-2015 with 60 videos, and Temple-Color with 128 videos. On the OTB-2015, our unified formulation significantly improves the baseline, with a gain of 3.8% in mean overlap precision. Finally, our method achieves state-of-the-art results on all three datasets. Code and supplementary material are available at http://www.cvl.isy.liu.se/research/objrec/visualtracking/decontrack/index.html .

연구 동기 및 목표

• 추적-기반 검출 프레임워크에서 오염된 훈련 샘플로 인한 모델 이탈 및 추적 실패 문제를 해결한다.
• 기존 방법들이 샘플 오염을 간과하거나 별도의 히우리스틱 구성 요소를 사용하는 한계를 극복한다.
• 샘플 품질 추정을 주 학습 목표에 통합하는 일반적이고 종단 간 형식을 개발한다.
• 분류 기반 추적기에서 별도의 히우리스틱 기반 훈련 샘플 관리 구성 요소가 필요 없도록 한다.

제안 방법

• 외곽선 모델 파rameter와 샘플 품질 가중치 모두에 대해 단일 손실 함수를 최소화하는 통합 최적화 문제를 수립한다.
• 각 훈련 샘플의 정렬 및 외곽 일관성에 기반해 신뢰도를 동적으로 반영하는 학습 가능한 샘플 가중치를 도입한다.
• 분류/회귀 손실과 샘플 가중치에 대한 정규화를 조합한 공동 손실 함수를 사용하여 오염된 샘플이 자동으로 가중치가 낮아지도록 한다.
• SVM 및 리지 회귀와 같은 표준 분류 기반 학습 방법에 이 형식을 적용함으로써 일반성과 기존 추적기와의 통합 가능성을 확보한다.
• 매 프레임에서 온라인 학습을 통해 모델 파ram터와 샘플 가중치를 동시에 업데이트함으로써 추적 과제에 실시간으로 적응한다.
• 공동 최적화를 통해 별도의 탐지 또는 필터링 모듈 없이 훈련 세트를 암묵적으로 정제한다.

실험 결과

연구 질문

• RQ1 통합 학습 형식이 외곽선 모델과 샘플 품질 가중치를 동시에 최적화하여 추적 강인성을 향상시킬 수 있는가?
• RQ2 주 학습 목표에 샘플 품질 추정을 통합하면 별도의 히우리스틱 샘플 관리 구성 요소를 사용하는 기존 방법보다 우수한 성능을 내는가?
• RQ3 공동 학습이 정렬 불량 또는 가림과 같은 오염된 샘플의 영향을 어느 정도 감소시킬 수 있는가?
• RQ4 이 방법은 다양한 추적 벤치마크에서 일반화되며, 가림, 변형, 척도 변화와 같은 어려운 속성도 처리할 수 있는가?

주요 결과

• 제안된 방법은 기준선 대비 OTB-2015 벤치마크에서 평균 오버랩 정밀도가 3.8% 절대 향상되었다.
• OTB-2015에서 AUC 점수는 63.4%를 기록하여 SRDCF(60.5%)와 HCF(56.6%)를 모두 초월했다.
• VOT-2015에서 기대 평균 오버랩(EAO) 점수는 0.299를 달성하여 다음으로 우수한 추적기인 SRDCF(0.288)를 뛰어넘었다.
• Temple-Color 데이터셋에서 평균 오버랩 정밀도는 65.8%를 기록하여 이전 최신 기준 성능인 62.2%(MEEM 및 SRDCF)를 초월했다.
• OTB-2015의 모든 11개 속성에서 일관된 향상이 나타났으며, 특히 가림, 배경 혼잡도, 평면 외 회전과 같은 시나리오에서 뚜렷한 성능 향상을 보였다.
• 정성적 결과에서는 추적기가 오염된 샘플(예: Girl 영상의 프레임 271)의 가중치를 성공적으로 낮춰 가림 후 정확한 재탐지가 가능함을 보여주었다.