[논문 리뷰] TCDCaps: Visual Tracking via Cascaded Dense Capsules

Ding Ma, Xiangqian Wu|arXiv (Cornell University)|2019. 02. 26.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 6

한 줄 요약

TCDCaps는 증가하는 IoU 임계값을 갖는 순차적 훈련을 통해 후보 품질을 향상시킴으로써 추적-검출 프레임워크에서의 드리프트 문제를 해결한다. 밀도 기반 연결 라우팅을 통해 특징의 강건성을 향상시킴으로써, 이 방법은 여러 벤치마크에서 뛰어난 추적 성능을 달성한다.

ABSTRACT

The critical challenge in tracking-by-detection framework is how to avoid drift problem during online learning, where the robust features for a variety of appearance changes are difficult to be learned and a reasonable intersection over union (IoU) threshold that defines the true/false positives is hard to set. This paper presents the TCDCaps method to address the problems above via a cascaded dense capsule architecture. To get robust features, we extend original capsules with dense-connected routing, which are referred as DCaps. Depending on the preservation of part-whole relationships in the Capsule Networks, our dense-connected capsules can capture a variety of appearance variations. In addition, to handle the issue of IoU threshold, a cascaded DCaps model (CDCaps) is proposed to improve the quality of candidates, it consists of sequential DCaps trained with increasing IoU thresholds so as to sequentially improve the quality of candidates. Extensive experiments on 3 popular benchmarks demonstrate the robustness of the proposed TCDCaps.

연구 동기 및 목표

• 온라인 학습 중 추적-검출 프레임워크에서 드리프트 문제를 완화하기 위해.
• 시각 추적에서 다양한 외관 변화를 처리할 수 있는 강건한 특징을 학습하기 위해.
• 진짜/거짓 양성 분류를 위한 최적의 교차 과도 영역(IoU) 임계값을 설정하는 문제를 해결하기 위해.
• 계층적이고 임계값을 점진적으로 증가시키는 보완 과정을 통해 추적에서 후보 품질을 향상시키기 위해.

제안 방법

• 표준 캡슐에 밀도 기반 라우팅을 추가하여 부분-전체 관계를 더 잘 유지하고 외관 변화를 포착할 수 있도록 개선된 밀도 연결 캡슐(DCaps)을 도입한다.
• 진행적 IoU 임계값을 갖는 순차적 DCaps를 훈련시켜 객체 후보 제안을 정밀하게 개선하는 캐스케이드드 DCaps 모델(CDCaps)을 제안한다.
• 캡슐 네트워크의 계층적 구조를 활용하여 공간적 관계를 유지하고 특징 표현의 강건성을 향상시킨다.
• 각 단계에서 더 엄격한 IoU 기준을 적용하는 다단계 훈련 전략을 사용하여 후보 품질을 점진적으로 향상시킨다.
• 캡슐 네트워크의 동적 라우팅 메커니즘을 활용하지만, 특징 학습 효율성을 향상시키기 위해 밀도 기반 연결을 강화한다.
• 새로운 관측 기반으로 추적기를 적응적으로 업데이트할 수 있도록 온라인 학습 환경에서 CDCaps 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크에서 밀도 기반 연결 라우팅이 다양한 외관 변화 상황에서 특징의 강건성을 향상시키는가?
• RQ2 증가하는 IoU 임계값을 갖는 캐스케이드 훈련 전략이 추적-검출에서 객체 후보 제안의 품질을 향상시키는가?
• RQ3 캡슐 네트워크에서 부분-전체 관계를 유지함으로써 온라인 학습 중 추적 드리프트를 줄일 수 있는가?
• RQ4 제안된 TCDCaps 방법은 다양한 벤치마크에서 기존 추적 방법과 비교해 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 TCDCaps 방법은 세 가지 주요 시각 추적 벤치마크에서 최신 기준 성능을 달성한다.
• 밀도 연결 캡슐(DCaps)의 사용은 외관 변화 상황에서도 부분-전체 관계를 유지함으로써 특징 표현을 크게 향상시킨다.
• 캐스케이드드 DCaps 모델(CDCaps)은 더 높은 IoU 임계값을 사용해 후보 제안을 점진적으로 정밀하게 개선함으로써 추적 드리프트를 효과적으로 줄인다.
• 강화된 특징 학습과 후보 정밀화 덕분에, 다양한 추적 시나리오—예를 들어 가림과 운동 변화—에서도 강건한 성능을 보인다.
• 광범위한 실험을 통해 계층적이고 임계값을 점진적으로 증가시키는 훈련 전략이 더 정확하고 안정적인 추적 결과를 이끌어낸다는 것이 확인되었다.
• 이 아키텍처는 특징의 강건성과 후보 품질 사이의 균형을 효과적으로 유지하여 정확성과 안정성 측면에서 베이스라인 방법을 모두 능가한다.