[논문 리뷰] Efficient Diverse Ensemble for Discriminative Co-Tracking

Kourosh Meshgi, Shigeyuki Oba외 1명|arXiv (Cornell University)|2017. 11. 16.

Video Surveillance and Tracking Methods참고 문헌 56인용 수 3

한 줄 요약

이 논문은 질문-통합 전략을 통해 최대한의 다양성을 확보하는 인공 학습 데이터 생성을 통해 분류 성능을 햖थ한 효율적인 다양한 앙상블 트래커(데드)를 제안한다. 무작위로 선택된 데이터 서브셋과 능동적으로 생성된 어려운 인공 샘플을 조합함으로써, 모델 간 상관관계와 드리프트를 감소시키며, OTB50 및 OTB100 벤치마크에서 최신 기술 수준의 성능을 달성하여 정확도와 레이블 노이즈 및 가림 현상에 대한 강건성을 확보한다.

ABSTRACT

Ensemble discriminative tracking utilizes a committee of classifiers, to label data samples, which are in turn, used for retraining the tracker to localize the target using the collective knowledge of the committee. Committee members could vary in their features, memory update schemes, or training data, however, it is inevitable to have committee members that excessively agree because of large overlaps in their version space. To remove this redundancy and have an effective ensemble learning, it is critical for the committee to include consistent hypotheses that differ from one-another, covering the version space with minimum overlaps. In this study, we propose an online ensemble tracker that directly generates a diverse committee by generating an efficient set of artificial training. The artificial data is sampled from the empirical distribution of the samples taken from both target and background, whereas the process is governed by query-by-committee to shrink the overlap between classifiers. The experimental results demonstrate that the proposed scheme outperforms conventional ensemble trackers on public benchmarks.

연구 동기 및 목표

• 자기학습 루프와 관련된 상관관계가 있는 앙상블 구성원들로 인해 발생하는 분류 성능 향상 문제와 레이블 노이즈를 해결하기 위해.
• 통제된 데이터 증강을 통해 분류기 간의 다양성을 극대화함으로써 앙상블 일반화 성능을 향상시키기 위해.
• 장기 및 단기 기억을 유지하면서도 실시간으로 주 및 보조 분류기 간의 활동적 데이터 공유를 가능하게 하는 효율적인 실시간 공 tracking 프레임워크를 개발하기 위해.
• 보조 분류기를 통해 예측을 검증하고 수정함으로써 자기학습 루프를 깨뜨리기 위해.
• 가림, 변형, 배경 혼잡성과 같은 시각적 과제에 대해 다양화된 학습을 통해 트래커의 강건성을 향상시키기 위해.

제안 방법

• 메서드는 분류기 간 初기 상관관계 감소를 위해 추적 데이터의 무작위 서브셋을 사용하여 앙상블을 구성한다.
• 실제 목표 및 배경 패치의 경험적 분포에서 유래된 인공 학습 샘플을 생성하며, 마지막으로 알려진 목표 위치 주변의 다변량 정규분포 샘플링을 사용한다.
• 인공 샘플의 레이블은 앙상블의 현재 공감대를 도전할 수 있도록 질문-통합 전략을 통해 선택된다. 이는 다양성을 증진시킨다.
• 앙상블은 반복적으로 업데이트된다: 인공 샘플을 포함한 후 앙상블 정확도가 향상되면 샘플을 수용하고, 그렇지 않으면 새로운 샘플을 생성한다.
• 공 tracking 프레임워크 내 보조 분류기는 외부 감독을 제공하며, 그 장기 기억을 활용해 주 트래커의 예측을 검증하고 수정한다.
• 프레임워크는 보조 분류기의 배치 업데이트를 통합하여 학습 안정성을 높이고 드리프트를 감소시키며, 루프형 업데이트 메커니즘을 통해 활동적 데이터 공유를 가능하게 한다.

실험 결과

연구 질문

• RQ1 온라인 분류 성능 향상에서 앙상블 다양성을 체계적으로 증가시키기 위해 어떻게 해야 할까? 이는 모델 상관관계와 드리프트 감소에 기여한다.
• RQ2 실제 양성 샘플이 희소할 경우 인공 데이터 생성이 트래커 강건성 향상에 어떤 역할을 하는가?
• RQ3 질문-통합 전략이 앙상블 성능 향상에 기여하는 정보성 있는 인공 샘플을 효과적으로 이끌 수 있는가?
• RQ4 보조 분류기를 활용한 공 tracking은 자기학습 또는 고립된 앙상블 방법에 비해 정확도를 어떻게 향상시키는가?
• RQ5 제안된 방법이 다양한 시각적 추적 과제 하에서 최신 기술 수준의 트래커를 얼마나 뛰어넘는가?

주요 결과

• DEDT는 OTB50 벤치마크의 12개 서브카테고리 중 10개에서 비교 대상 트래커 전부를 앞서며, ALL 및 IV 카테고리에서 최고의 AUC를 기록했다.
• OTB100에서 DEDT는 12개 서브카테고리 중 10개에서 최고 성능을 기록했으며, HOG 특징을 사용하고도 CCOT과 같은 딥 레이어 기반 트래커를 능가했다.
• 절단 실험 결과, 고정된 보조 분류기(데드-프리스트)와 완전히 업데이트되는 보조 분류기(데드-숏)는 제안된 루프형 활동적 업데이트 방식보다 성능이 열 劣하다. 이는 활동적 질의 선택의 중요성을 확인한다.
• 실시간 공 트래킹 변형과 비교해 결과를 마지막에만 융합하는 데드-아이솔레이티드의 경우 성능이 열 劣하다. 이는 지속적인 협업의 이점을 입증한다.
• 자기학습 루프를 깨뜨리고 다양화된 학습 데이터를 사용함으로써 모델 드리프트와 레이블 노이즈의 영향을 크게 감소시켰다.
• 학습된 데이터 분포(다변량 정규분포)에서 샘플을 추출함으로써 외곽선을 유도하지 않으면서도 양성 샘플 수를 증가시켰다.