[논문 리뷰] Machine Learning Methods for Solving Assignment Problems in Multi-Target Tracking

Patrick Emami, Pãnos M. Pardalos외 2명|arXiv (Cornell University)|2018. 02. 19.

Data Management and Algorithms참고 문헌 123인용 수 56

한 줄 요약

이 종합 검토는 다중 대상 추적에서 데이터 및 트랙 연관을 다루는 기계학습 접근법을 다차원 할당 문제(MDAP)로 프레임워크화함으로써 통합한다. MDAP는 NP-난해한 조합 최적화 문제의 일종이며, 고전적이고 데이터 기반의 방법—딥 러닝 및 표현 학습을 포함—을 검토하며, 분야 내 최근 발전과 벤치마크 기준을 강조한다.

ABSTRACT

Data association and track-to-track association, two fundamental problems in single-sensor and multi-sensor multi-target tracking, are instances of an NP-hard combinatorial optimization problem known as the multidimensional assignment problem (MDAP). Over the last few years, data-driven approaches to tackling MDAPs in tracking have become increasingly popular. We argue that viewing multi-target tracking as an assignment problem conceptually unifies the wide variety of machine learning methods that have been proposed for data association and track-to-track association. In this survey, we review recent literature, provide rigorous formulations of the assignment problems encountered in multi-target tracking, and review classic approaches used prior to the shift towards data-driven techniques. Recent attempts at using deep learning to solve NP-hard combinatorial optimization problems, including data association, are discussed as well. We highlight representation learning methods for multi-sensor applications and conclude by providing an overview of current multi-target tracking benchmarks.

연구 동기 및 목표

• 다중 대상 추적에서 데이터 연관 및 트랙 간 연관을 위한 다양한 기계학습 방법을 다차원 할당 문제(MDAP)의 공통 프레임워크 아래 통합하기 위해.
• 단일 센서 및 다중 센서 다중 대상 추적에서 발생하는 할당 문제에 대한 엄밀한 수학적 공식화를 제공하기 위해.
• 데이터 기반 학습 접근법의 부상 이전에 사용된 고전적 최적화 기법들을 검토하기 위해.
• NP-난해한 MDAP를 해결하기 위한 최근의 딥 러닝 기반 방법들을 분석하기 위해.
• 현재의 다중 대상 추적 벤치마크를 요약하고 분야의 최신 기술 수준을 평가하기 위해.

제안 방법

• 데이터 연관 및 트랙 간 연관을 알려진 NP-난해한 조합 최적화 문제인 다차원 할당 문제(MDAP)의 사례로 공식화하기 위해.
• 데이터 기반 학습의 부상 이전에 사용된 전통적 최적화 기법들—예: 분할 정복 및 유한법, 경매 알고리즘, 헝가리안 방법—을 조사하기 위해.
• MDAP에 특화된 딥 러닝 아키텍처를 검토하며, 이는 다양한 가역적 완화 방법, 그래프 신경망, 그리고 엔드 투 엔드 학습 프레임워크를 포함한다.
• 특징 임bedding 및 다중 센서 간 연관을 중점으로 하는 다중 센서 추적을 위한 표현 학습 기법들을 강조하기 위해.
• 신경망을 고전적 최적화 솔버와 통합하여 해의 품질과 효율성을 향상시키는 방법을 분석하기 위해.
• 새로운 방법의 성능 평가를 위해 사용되는 표준 다중 대상 추적 벤치마크에 대한 종합적 개요를 제공하기 위해.

실험 결과

연구 질문

• RQ1 다중 대상 추적에서 데이터 연관 및 트랙 간 연관을 MDAP 프레임워크 아래에서 어떻게 공식적으로 통합할 수 있는가?
• RQ2 고전적 최적화 방법은 실시간 추적에서 대규모 MDAP를 해결할 때 어떤 핵심적 한계를 지니는가?
• RQ3 딥 러닝 기반 접근법은 전통적 방법에 비해 정확도와 확장성 측면에서 어떻게 향상되는가?
• RQ4 표현 학습은 다중 센서 데이터 연관 성능 향상에 어떤 역할을 하는가?
• RQ5 현재 상태의 최신 다중 대상 추적 시스템을 평가하기 위해 사용되는 주요 벤치마크와 평가 프로토콜는 무엇인가?

주요 결과

• MDAP 프레임워크는 다중 대상 추적에서 다양한 기계학습 방법에 대해 일관되고 개념적으로 통합된 기반을 제공한다.
• 고전적 최적화 방법은 여전히 관련성이 있지만, 대규모 추적 문제에서 확장성과 실시간 성능 측면에서 어려움을 겪는다.
• 특히 가역적 완화와 그래프 신경망을 조합한 딥 러닝 기반 접근법은 복잡한 연관 작업에서 더 높은 정확도와 강건성을 보인다.
• 표현 학습은 더 효과적인 다중 센서 특징 정렬을 가능하게 하여 다중 센서 추적 성능을 크게 향상시킨다.
• MOTChallenge 및 다중 객체 추적용 데이터셋과 같은 표준화된 벤치마크는 새로운 방법의 공정하고 재현 가능한 평가에 필수적이다.
• 신경망을 고전적 솔버와 통합하는 것은 높은 정확도와 계산 효율성의 조화를 이룰 수 있는 유망한 길이다.