[논문 리뷰] Deep Similarity Metric Learning for Real-Time Pedestrian Tracking

Michael Thoreau, Navinda Kottege|arXiv (Cornell University)|2018. 06. 20.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 5

한 줄 요약

이 논문은 사전 훈련된 딥 유사도 메트릭을 활용하여 실시간 보행자 추적 성능을 햖스키기 위해 시아모이즈 딥 메트릭 트래커를 제안한다. 이는 검출 할당 향상, 저신뢰도 검출 강화, 외관 기반 트랙릿 연결을 통해 달성된다. MOT16에서 이 방법은 경쟁력 있는 MOTA(34.6)를 기록했으며, 온라인 실시간 트래커 중에서 가장 낮은 ID 스위치 수(317)를 기록하여, 딥 외관 모델링이 음영 처리 중 추적 오류를 크게 줄이고 강건성을 향상시킨다는 것을 입증한다.

ABSTRACT

Tracking by detection is a common approach to solving the Multiple Object Tracking problem. In this paper we show how learning a deep similarity metric can improve three key aspects of pedestrian tracking on a multiple object tracking benchmark. We train a convolutional neural network to learn an embedding function in a Siamese configuration on a large person re-identification dataset. The offline-trained embedding network is integrated in to the tracking formulation to improve performance while retaining real-time performance. The proposed tracker stores appearance metrics while detections are strong, using this appearance information to: prevent ID switches, associate tracklets through occlusion, and propose new detections where detector confidence is low. This method achieves competitive results in evaluation, especially among online, real-time approaches. We present an ablative study showing the impact of each of the three uses of our deep appearance metric.

연구 동기 및 목표

• 딥 외관 모델링을 활용하여 실시간 온라인 다중 객체 추적(MOT)을 보행자 추적에 향상시키는 것.
• 학습된 딥 유사도 메트릭을 활용하여 MOT의 핵심 과제인 ID 스위치, 거짓 음성, 트랙릿 분할 문제를 해결하는 것.
• 실시간 성능(≥25 FPS)을 유지하면서 외관 기반 할당과 검출 강화를 통해 추적 정확도를 향상시키는 것.
• 검출 할당, 검출 강화, 트랙릿 연결의 세 가지 구성 요소가 각각 추적 성능에 미치는 영향을 분석하기 위해 탈락 분석을 수행하는 것.

제안 방법

• 대규모 개인 재식별 데이터셋에서 사전 훈련된 시아모이즈 컨볼루션 신경망을 통해 보행자 외관에 대한 구분 가능한 임bedding 공간을 학습한다.
• 오프라인으로 훈련된 임bedding 네트워크는 검출 결과와 트랙릿에 대한 딥 외관 특징을 계산하여, 프레임마다 재훈련 없이도 유사도를 계산할 수 있도록 한다.
• 검출 할당은 학습된 메트릭을 활용해 외관 유사도에 기반해 검출 결과를 기존 트랙에 연결함으로써 거짓 긍정을 줄인다.
• 검출 강화는 목표가 부분적으로 가려지거나 일시적으로 누락되었을 때, 저신뢰도 검출 결과를 재식별하고 다시 포함시키는 데 사용된다.
• 트랙릿 연결은 외관 유사도를 기반으로 반복적으로 트랙릿을 병합하여, 특히 음영 처리 시에 더 길고 일관성 있는 궤적을 형성하는 데 효과적이다.
• 트래커는 온라인으로 작동하며, 몇 초의 재생 지연만을 가지며, 실시간 성능(29.8 FPS)을 유지한다.

실험 결과

연구 질문

• RQ1 재식별 데이터에서 학습된 딥 유사도 메트릭은 온라인 MOT에서 검출 할당에 도움이 될 수 있는가?
• RQ2 외관 기반 검출 강화는 거짓 양성 수를 증가시키지 않고도 거짓 음성 수를 줄일 수 있는가?
• RQ3 외관 기반 트랙릿 연결은 음영 처리 중에 얼마나 많은 ID 스위치를 줄일 수 있는가?
• RQ4 할당, 강화, 연결의 세 가지 구성 요소가 개별적으로 전체 추적 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 트래커는 MOT16 테스트 세트에서 MOTA 34.6을 기록하여 온라인 실시간 방법 중 경쟁력 있는 성능을 보였다.
• 이 방법은 가장 낮은 ID 스위치 수(317)를 기록하여 음영 처리 중 일관된 트랙 아이덴티티 유지 능력이 뛰어나다는 것을 입증했다.
• 탈락 분석 결과, 트랙릿 연결이 ID 스위치 감소에 가장 큰 기여를 했으며, 그 다음으로 검출 할당이 영향을 미쳤다.
• 검출 강화는 거짓 음성 수를 줄였지만, 저정밀도 DPM 검출 결과의 특성상 거짓 양성 수가 증가(6,014 → 6,743)하여 상충 관계가 있음을 보여주었다.
• 외관 모델링을 완전히 제거하면 프레임레이트가 96.8 FPS로 증가했지만 MOTA는 32.9로 감소하여, 딥 외관 특징의 가치를 확인했다.
• 딥 메트릭 네트워크는 Market-1501에서 AUC 0.98을 기록하여 구분 가능한 외관 표현을 효과적으로 학습할 수 있음을 검증했다.