[논문 리뷰] Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking

Minyoung Kim, Stefano Alletto외 1명|arXiv (Cornell University)|2016. 09. 28.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 23

한 줄 요약

이 논문은 다중 객체 추적을 위한 향상된 시앙세이 신경망(ESNN)을 제안하며, 유사도 매핑을 향상시키기 위해 외관 특징과 기하학적 특징(IoU 및 면적 비율)을 동시에 모델링한다. 엔드 투 엔드로 훈련 가능한 ESNN는 최소한의 초모수를 사용하여 MOT16 및 KITTI 벤치마크에서 경쟁적인 정확도와 높은 속도(7.9 Hz)를 달성하며, 최신 기술 대비 효율성과 강인성 면에서 뛰어나면서도 실시간 ADAS 응용에 적합한 낮은 지연 시간을 유지한다.

ABSTRACT

Multi-object tracking has recently become an important area of computer vision, especially for Advanced Driver Assistance Systems (ADAS). Despite growing attention, achieving high performance tracking is still challenging, with state-of-the- art systems resulting in high complexity with a large number of hyper parameters. In this paper, we focus on reducing overall system complexity and the number hyper parameters that need to be tuned to a specific environment. We introduce a novel tracking system based on similarity mapping by Enhanced Siamese Neural Network (ESNN), which accounts for both appearance and geometric information, and is trainable end-to-end. Our system achieves competitive performance in both speed and accuracy on MOT16 challenge, compared to known state-of-the-art methods.

연구 동기 및 목표

• 실세계 배포를 위한 다중 객체 추적 시스템의 복잡도와 초모수 수를 줄이기 위해.
• IoU 및 면적 비율과 같은 기하학적 정보와 시앙세이 네트워크의 외관 특징을 융합하여 추적 성능을 향상시키기 위해.
• 실시간 자율주행 및 ADAS 응용 분야에서 온라인 추적을 위해 낮은 지연 시간을 유지하는 엔드 투 엔드로 훈련 가능한 시스템을 개발하기 위해.
• 고밀도 환경에서 계산 비용이 높은 헝가리안 알고리즘을 능가하는 선형 시간 복잡도를 가지는 빠른 매칭 알고리즘을 설계하기 위해.

제안 방법

• 기본 시앙세이 네트워크는 마진 파rameter m=3를 사용한 대비 손실을 통해 이미지 패치에서 사전 훈련되어 외관 기반 유사도를 학습한다.
• ESNN는 기본 네트워크를 확장하여 물체 바운딩 박스의 교차율(IoU)과 면적 비율(Arat)을 처리하는 두 개의 새로운 브랜치를 추가한다.
• 기하학적 특징은 시앙세이 네트워크의 최종 특징 맵과 연결되어 각 물체 쌍에 대한 통합된 유사도 표현을 형성한다.
• 제안된 새로운 선형 시간 매칭 알고리즘은 ESNN의 유사도 점수를 사용하여 ID를 할당하며, 단일 재평가 단계를 통해 반복적으로 갈등을 해결한다.
• 시스템은 엔드 투 엔드로 훈련되며, 최신 기술과의 공정한 비교를 위해 제공된 검출 결과를 사용하여 온라인 설정에서 평가된다.
• 매칭 알고리즘은 헝가리안 알고리즘의 O(n³) 복잡도를 피하여 고밀도 환경에서의 확장성에 크게 기여한다.

실험 결과

연구 질문

• RQ1 시앙세이 네트워크에 외관 특징과 기하학적 특징을 융합함으로써 초모수 민감도를 낮추면서 다중 객체 추적 성능을 향상시킬 수 있는가?
• RQ2 고밀도 환경에서 제안된 선형 시간 매칭 알고리즘은 헝가리안 알고리즘 대비 속도와 정확도 면에서 어떻게 비교되는가?
• RQ3 엔드 투 엔드로 훈련된 ESNN는 미세조정 없이도 새로운 객체 클래스(예: KITTI의 자동차)에 잘 일반화될 수 있는가?
• RQ4 IoU 및 면적 비율 특징의 통합은 외관 특징만을 사용할 경우에 비해 유사도 매핑에 얼마나 향상되는가?
• RQ5 제안된 시스템은 최소한의 초모수 조정으로 높은 추적 속도와 정확도를 달성하여 실시간 ADAS 응용에 적합한가?

주요 결과

• 제안된 ESNN 기반 추적기는 MOT16 테스트 세트에서 MOTA 35.3%를 달성하며, 속도(7.9 Hz)와 낮은 지연 시간 면에서 여러 최신 기술을 능가한다.
• KITTI 데이터셋에서 자동차에 대해 공개 검출 결과를 사용하여 MOTA 65.97%를 기록했고, 보행자에 대해서는 33.69%를 기록했으며, 훈련 중 자동차 클래스에 대한 미세조정 없이도 성능을 달성했다.
• 제안된 선형 시간 매칭 알고리즘은 헝가리안 알고리즘(27.7%)보다 더 높은 MOTA(35.3%)를 달성했으며, 고밀도 시퀀스인 MOT16-04에서 최대 2.69배 빠른 속도를 기록했다.
• 시스템은 강력한 일반화 능력을 보이며, 자동차 클래스에 대한 미세조정 없이도 KITTI에서 경쟁적인 성능을 달성하여 강인한 특징 학습 능력을 입증했다.
• ESNN 모델은 초모수 수를 줄이고 낮은 지연 시간을 유지하여 자율주행 및 ADAS 응용 분야의 실시간 응용에 적합하다.
• IoU 및 면적 비율 특징의 통합은 유사도 매핑을 크게 향상시켜 더 높은 추적 정확도와 더 적은 오류 양성(false positives)을 초래한다.