[논문 리뷰] Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association

Young-Chul Yoon, Du Yong Kim외 3명|arXiv (Cornell University)|2019. 07. 01.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 12

한 줄 요약

이 논문은 심층 시퀀셜 외관 매칭을 활용한 공동 추론 네트워크(JI-Net)를 사용하여 신뢰도 높은 신원 일관성과 ID 전환을 개선하는 새로운 온라인 다중 인원 추적 방법인 Deep-TAMA를 제안한다. 쌍별 특징 비교와 계층적 초기화를 통해 음영과 운동 변화 상황에서도 견고한 외관 모델링을 향상시키며, MOTChallenge 2019 온라인 추적 벤치마크에서 3위를 기록했다.

ABSTRACT

In online multi-target tracking, modeling of appearance and geometric similarities between pedestrians visual scenes is of great importance. The higher dimension of inherent information in the appearance model compared to the geometric model is problematic in many ways. However, due to the recent success of deep-learning-based methods, handling of high-dimensional appearance information becomes feasible. Among many deep neural networks, Siamese network with triplet loss has been widely adopted as an effective appearance feature extractor. Since the Siamese network can extract the features of each input independently, one can update and maintain target-specific features. However, it is not suitable for multi-target settings that require comparison with other inputs. To address this issue, we propose a novel track appearance model based on the joint-inference network. The proposed method enables a comparison of two inputs to be used for adaptive appearance modeling and contributes to the disambiguation of target-observation matching and to the consolidation of identity consistency. Diverse experimental results support the effectiveness of our method. Our work was recognized as the 3rd-best tracker in BMTT MOTChallenge 2019, held at CVPR2019. The code is available at https://github.com/yyc9268/Deep-TAMA.

연구 동기 및 목표

• 쌍별 비교를 통한 적응형 외관 모델링이 불가능한 시앙세이 네트워크의 한계를 해결하기 위해 온라인 다중 타깃 추적에서의 성능을 향상시키는 것.
• 온라인 환경에서 타깃 특화 외관 모델링을 지원하지 못하는 공동 추론 네트워크(JI-Net)의 한계를 극복하는 것.
• 시간 외관 매칭과 계층적 초기화를 통합하여 음영, 운동 변화 및 낮은 프레임 레이트 상황에서도 추적의 견고성을 향상시키는 것.
• 공개 벤치마크에서 온라인 다중 인원 추적 분야에서 최고 성능을 달성하는 것.

제안 방법

• 두 개의 보행자 패치를 동시에 처리하여 유사도 점수를 계산하는 공동 추론 네트워크(JI-Net)를 제안하여 쌍별 비교를 통한 적응형 외관 모델링을 가능하게 한다.
• 시간적 맥락을 활용하여 프레임 간 특징의 구분력을 향상시키기 위해 C-TAMA(컨텍스추얼 타임리얼 아웃룩 매칭 어소시에이션)를 도입한다.
• 데이터 기반 접근 방식을 사용하여 형태와 외관 특징을 융합하여 상호 독립성을 감소시키고 견고성을 향상시키는 Deep-TAMA를 개발한다.
• 추적의 유연성을 향상시키고 초기 검출 오류에 대한 민감도를 줄이기 위해 계층적 초기화를 적용한다.
• 초기 특징 추출을 위해 트리플릿 손실을 사용하는 시앙세이 네트워크를 활용하고, 이후 정밀한 외관 매칭을 위해 JI-Net를 적용한다.
• 장기간의 신원 일관성을 향상시키기 위해 원본 템플릿 기록을 3차원 텐서로 유지하여 세부적인 외관 정보를 시간에 따라 보존한다.

실험 결과

연구 질문

• RQ1 공동 추론 네트워크는 온라인 다중 타깃 추적에 적응하여 동적이고 쌍별 외관 비교를 가능하게 하고 신원 일관성을 향상시킬 수 있는가?
• RQ2 시간 외관 매칭을 통합함으로써 음영과 운동 변화 상황에서 추적의 견고성이 어떻게 향상되는가?
• RQ3 계층적 초기화와 특징 분리 기법이 추적의 유연성을 향상시키고 ID 전환을 얼마나 줄이는가?
• RQ4 외관과 형태 특징의 데이터 기반 융합 기법이 기존의 시앙세이 기반 외관 모델보다 온라인 추적에서 더 우수한 성능을 내는가?
• RQ5 낮은 프레임 레이트와 도전적인 실세계 환경에서 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 Deep-TAMA 추적기는 CVPR 2019에서 온라인 다중 객체 추적 챌린지에서 3위를 기록하여 공개 벤치마크에서 최고 성능을 입증했다.
• 특히 큰 장애물로 인해 장기적인 음영이 발생하는 GIST-Tree 시퀀스에서 ID 전환을 크게 줄였다.
• 정성적 결과는 색상 코드 ID와 궤적선을 통해 부분적 또는 완전한 음영 상황에서도 안정적인 궤적 추적을 보여주었으며, 일관성 있는 추적 성능을 확인했다.
• 보행자가 유사한 외관을 지니거나 급격히 움직일 경우에도 기존의 시앙세이 기반 방법보다 외관 모호성을 더 잘 다루는 것으로 나타났다.
• 실패 사례는 주로 낮은 프레임 레이트(5 FPS)에서 발생하며, 갑작스러운 운동 변화나 타깃의 급격한 사라름으로 인해 일시적인 ID 전환이 발생하는 것으로 나타나 시간 샘플링에 민감한 것으로 보였다.
• 3차원 템플릿 저장으로 인한 높은 메모리 및 계산 비용에도 불구하고, 곡선, 교차로, 복잡한 음영 상황을 포함한 다양한 환경에서 견고한 성능을 유지했다.