[논문 리뷰] Eliminating Exposure Bias and Loss-Evaluation Mismatch in Multiple Object Tracking

Andrii Maksai, Pascal Fua|arXiv (Cornell University)|2018. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 6인용 수 13

한 줄 요약

이 논문은 노출 편향과 손실-평가 불일치 문제를 제거하기 위해 반복적이고 노출 빈도가 높은 데이터 생성 방식과 직접 IDF1 추적 메트릭을 대체하는 학습된 스코어링 함수를 사용하는 다중 객체 추적을 위한 새로운 훈련 절차를 제안한다. 이 방법은 기하학적 특징만을 사용할 때조차 MOT15, MOT17, DukeMTMC 벤치마크에서 최신 기술을 초월하며, 외관 특징을 사용할 경우 최고 성능을 기록한다.

ABSTRACT

Identity Switching remains one of the main difficulties Multiple Object Tracking (MOT) algorithms have to deal with. Many state-of-the-art approaches now use sequence models to solve this problem but their training can be affected by biases that decrease their efficiency. In this paper, we introduce a new training procedure that confronts the algorithm to its own mistakes while explicitly attempting to minimize the number of switches, which results in better training. We propose an iterative scheme of building a rich training set and using it to learn a scoring function that is an explicit proxy for the target tracking metric. Whether using only simple geometric features or more sophisticated ones that also take appearance into account, our approach outperforms the state-of-the-art on several MOT benchmarks.

연구 동기 및 목표

• 혼잡한 환경에서의 아이덴티티 전환 문제를 해결하기 위해.
• 훈련 손실이 실제 추적 메트릭(예: IDF1, MOTA)과 일치하지 않는 손실-평가 불일치 문제를 해결하기 위해.
• 모델이 훈련 도중 실제 트랙릿이 아닌 자신의 예측을 포함하도록 노출시켜 노출 편향을 제거하기 위해.
• IDF 메트릭을 직접 프록시하는 스코어링 함수를 개발하여 추적 성능 기반의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 외관 모델링 없이 기하학적 특징만을 사용해 최고 성능을 달성하고, 외관 특징을 추가로 활용하여 성능을 더욱 향상시키기 위해.

제안 방법

• 지속적으로 가능한 모든 트랙릿 조합을 고려하여 실제 트랙릿이 아닌, 지도 학습에서의 트랙릿 그룹화 방식을 초월한 풍부한 훈련 데이터를 생성하는 반복적 훈련 절차를 도입한다.
• ID 인식 신뢰도, 바운딩 박스의 타이트함, 궤적 연장 정도를 추정하는 학습된 스코어링 함수를 사용하며, 지도 데이터 없이도 IDF1 메트릭을 직접 프록시한다.
• 분류, 회귀 및 프록시 스코어링 함수를 조합한 손실 함수로 훈련하는 RNN 기반 시퀀스 모델을 활용하여 아이덴티티 전환을 최소화한다.
• 훈련 중 소프트맥스 확률 스케일링에 온도 안내 기반 스케줄링을 적용하여 병합 결정의 안정성을 높인다.
• 변동 길이 시퀀스(훈련 시 3초, 추론 시 6초)를 사용하는 배치 훈련 프로토콜을 적용하며, DPM 검출기 사용 시 바운딩 박스 이동 회귀를 통합한다.
• CUHK03에서 재식별 네트워크를 사전 훈련하고, 훈련 시퀀스에서 미세 조정하며, 검증 데이터를 기반으로 그리드 서치를 통해 하이퍼파rameter를 최적화한다.

실험 결과

연구 질문

• RQ1 모델이 자신의 예측을 훈련 도중 노출시키는 훈련 절차가 다중 객체 추적에서 노출 편향을 줄일 수 있는가?
• RQ2 IDF1 메트릭을 명시적으로 프록시하는 스코어링 함수가 실제 평가 메트릭과의 훈련 일치도를 향상시킬 수 있는가?
• RQ3 손실-평가 불일치 문제를 제거하면 일반화 성능 향상과 아이덴티티 전환 감소에 기여하는가?
• RQ4 외관 모델링 없이 기하학적 특징만으로도 최고 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 MOT15, MOT17, DukeMTMC와 같은 다양한 벤치마크에 효과적으로 확장 가능한가?

주요 결과

• DukeMTMC 데이터셋에서, 제안된 방법(OURS)은 Easy 세트에서 76.8 IDF1과 65.4 MOTA를 기록하여, REID와 CDSC를 포함한 모든 베이스라인을 앞서며 성능을 뛰어넘었다.
• DukeMTMC의 하드 세트에서, 방법은 22.2 MOTA와 27.2 IDF1을 기록하여, SORT(21.7 MOTA)와 RNN(19.0 MOTA)를 크게 앞서며 뚜렷한 성능 우위를 보였다.
• MOT15에서, 방법은 전체 MOTA/IDF1이 각각 74.6/70.1로, SORT(24.9/49.9)와 다른 최신 기술 방법들을 뛰어넘었다.
• MOT17에서, 방법은 50.9 MOTA와 52.7 IDF1을 기록하여, DMAN, JCC, MOTDT17를 초월하며 상위 성능를 기록했다.
• 외관 특징 없이(OURS-geom)도, DukeMTMC Easy 세트에서 65.5 IDF1과 59.1 MOTA를 기록하여 기하학적 특징만으로도 뛰어난 성능을 보임을 입증했다.
• 제거 분석 결과, 제안된 스코어링 함수와 반복적 데이터 생성 방식이 아이덴티티 전환 감소와 추적 강인성 향상에 핵심 요소임을 확인했다.