[논문 리뷰] Integrated Object Detection and Tracking with Tracklet-Conditioned Detection

Zheng Zhang, Dazhi Cheng외 3명|arXiv (Cornell University)|2018. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 49

한 줄 요약

논문은 현재 프레임 탐지를 이전 트랙렛으로 조건화하여 객체 탐지와 추적을 밀착 결합시키고, 영상 벤치마크에서 최첨단 결과와 추적 안정성을 향상시켰다.

ABSTRACT

Accurate detection and tracking of objects is vital for effective video understanding. In previous work, the two tasks have been combined in a way that tracking is based heavily on detection, but the detection benefits marginally from the tracking. To increase synergy, we propose to more tightly integrate the tasks by conditioning the object detection in the current frame on tracklets computed in prior frames. With this approach, the object detection results not only have high detection responses, but also improved coherence with the existing tracklets. This greater coherence leads to estimated object trajectories that are smoother and more stable than the jittered paths obtained without tracklet-conditioned detection. Over extensive experiments, this approach is shown to achieve state-of-the-art performance in terms of both detection and tracking accuracy, as well as noticeable improvements in tracking stability.

연구 동기 및 목표

• Video 이해에서 탐지와 추적의 더 긴밀한 통합 필요성에 대한 동기 부여.
• 이전 트랙렛을 활용하여 현재 프레임 탐지를 영향 주도록 트랙렛- conditioning 탐지 프레임워크를 개발.
• 초기 통합이 기존의 늦은 통합 방식보다 탐지 정확도와 추적 안정성 모두를 개선한다는 것을 보인다.

제안 방법

• P(c|b^t_i, {d^{t-1}_j})를 프레임별 탐지 점수와 트랙렛 기반 단서를 결합하는 트랙렛-조건부 탐지 형식으로 정의한다.
• 트랙렛 이력에서 P_tr(c|d^{t-1}_j)를 계산하고 시간에 따라 트랙렛 임베딩 E_s2(d^t)을 업데이트한다.
• 임베딩 특징의 코사인 유사도를 사용하여 교차 프레임 라벨링을 안내하는 association 가중치 w(b^t_i, d^{t-1}_j)을 Establish 한다.
• 두 단계 Faster R-CNN 탐지기에 이 방법을 통합하고, 1단계(RPN)와 2단계(Fast R-CNN) 모두에서 트랙렛 조합을 적용한다.
• 프레임 t-1의 탐지를 프레임 t의 그라운드 트루스와 연결하는 공동 탐지 및 추적 손실로 학습하여 탐지와 추적을 동시에 최적화한다.
• 새 객체를 위한 의사 트랙렛으로 이분 매칭 기반 연관(Hungarian 알고리즘)을 사용하고, 필요 시 전파 및 재점수(re-score) 스텝을 적용한다.

실험 결과

연구 질문

• RQ1 이전 프레임의 트랙렛 정보가 외관만으로보다는 프레임별 객체 탐지 점수를 개선할 수 있는가?
• RQ2 탐지와 추적의 초기(트랙렛-조건부) 통합이 탐지 후 결과를 융합하는 늦은 통합 방식보다 성능이 좋은가?
• RQ3 공동 학습이 비디오 시퀀스 전반의 탐지 정확도 및 추적 안정성에 미치는 영향은 무엇인가?
• RQ4 구성 요소들(1단계 대 2단계 조 conditioning)이 전체 성능에 어떻게 기여하는가?

주요 결과

• ImageNet VID에서 탐지(mAP_det)와 추적(mAP_track) 모두에서 최첨단 지표를 달성했다.
• 트랙렛 조건부 탐지가 두 단계에 걸쳐 통합된 접근 방식이 전체 mAP를 가장 잘 달성: det 78.1%, track 67.9%는 검증 세트에서의 성과이다.
• 초기 통합은 추적 안정성을 개선하여 늦은 통합 기준선보다 더 부드러운 궤적을 생성한다.
• 방법은 순차적 탐지 및 추적 기준선에 비해 탐지와 기존 트랙렛 간의 일관성을 더 잘 보여주며 유의한 이점을 제공한다.
• MOT 2015에서 통합 탐지기가 비디오 추적에 맞게 미세 조정되어 안정성이 향상된 경쟁력 있는 성능을 보인다(논문의 실험에서 보고됨).