[논문 리뷰] FlowMOT: 3D Multi-Object Tracking by Scene Flow Association

Guangyao Zhai, Xin Kong외 3명|arXiv (Cornell University)|2020. 12. 14.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 10

한 줄 요약

FlowMOT는 학습 기반의 환경 흐름 추정을 활용하여 객체 운동을 예측하고 추적의 강건성을 향상시키는 LiDAR 기반 3D 다중 객체 추적 프레임워크를 제안한다. 기존 칼만 필터를 흐름 기반 운동 예측으로 대체하고, 데이터 연동에 헝가리안 알고리즘을 사용함으로써, 고속 주행 및 가변 프레임 레이트 환경에서 기존 필터 기반 방법이 고정된 초모수로 실패하는 상황에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most end-to-end Multi-Object Tracking (MOT) methods face the problems of low accuracy and poor generalization ability. Although traditional filter-based methods can achieve better results, they are difficult to be endowed with optimal hyperparameters and often fail in varying scenarios. To alleviate these drawbacks, we propose a LiDAR-based 3D MOT framework named FlowMOT, which integrates point-wise motion information with the traditional matching algorithm, enhancing the robustness of the motion prediction. We firstly utilize a scene flow estimation network to obtain implicit motion information between two adjacent frames and calculate the predicted detection for each old tracklet in the previous frame. Then we use Hungarian algorithm to generate optimal matching relations with the ID propagation strategy to finish the tracking task. Experiments on KITTI MOT dataset show that our approach outperforms recent end-to-end methods and achieves competitive performance with the state-of-the-art filter-based method. In addition, ours can work steadily in the various-speed scenarios where the filter-based methods may fail.

연구 동기 및 목표

• 엔드 투 엔드 3D MOT 방법의 한계를 해결하기 위해, 낮은 정확도와 열악한 일반화 능력을 개선하고자 한다.
• 기존 필터 기반 3D MOT에서의 초모수 민감성 및 고정된 운동 모델 문제를 해결하고자 하며, 특히 다양한 객체 속도에서의 성능 향상을 목표로 한다.
• 고정된 초모수로 인해 성능이 저하되는 표준 칼만 필터 기반 방법이 실패하는 실세계 환경(예: 가변 프레임 레이트 또는 프레임 손실 존재)에서 추적의 강건성을 향상시키고자 한다.
• 딥 러닝 기반 환경 흐름 추정을 3D MOT 파이프라인에 통합하여 보다 정확하고 적응형 운동 예측을 가능하게 하고자 한다.
• 특정 객체 유형(예: 차량 대 인도보행자)에 맞게 초모수를 재조정할 필요 없이 다양한 객체 유형 간에 일반화 가능한 프레임워크를 개발하고자 한다.

제안 방법

• 연속된 LiDAR 프레임 간의 점별 운동을 계산하기 위해 환경 흐름 추정 네트워크(FlowNet3D)를 사용하여 암묵적인 운동 일관성을 포착한다.
• 각 검출 영역의 점 클러스터 내에서 집계된 환경 흐름 벡터로부터 객체 수준의 운동 예측을 도출함으로써, 수작업으로 설계된 운동 모델에 의존하지 않고 트랙렛 예측을 가능하게 한다.
• IoU와 운동 일관성 기반으로 이전 프레임의 기존 트랙렛과 현재 프레임의 새로운 검출 결과를 헝가리안 알고리즘을 통해 매칭한다.
• 예측된 운동 정보를 활용하여 트랙 아이덴티티를 프레임 간에 유지하는 ID 전파 전략을 도입함으로써 데이터 연동을 향상시킨다.
• 트랙-바이-디텍션 파라다임을 기반으로 하며, 딥 러닝 기반 운동 추정과 전통적인 매칭 알고리즘을 융합하여 강력한 추적 성능를 확보한다.
• 시스템은 KITTI MOT에서 엔드 투 엔드로 훈련되며, 환경 흐름 예측은 검출 또는 재식별을 위한 것이 아니라 오직 운동 모델링에만 사용된다.

실험 결과

연구 질문

• RQ1 학습 기반 환경 흐름 추정이 엔드 투 엔드 학습 전용 방법 대비 3D MOT 성능 향상에 기여하는가?
• RQ2 칼만 필터의 운동 모델을 흐름 기반 예측으로 대체할 경우, 변동 속도 또는 저프레임 레이트 환경에서의 강건성이 향상되는가?
• RQ3 일관된 단일 운동 모델이 차량과 보행자와 같은 다양한 객체 유형 간에 일반화 가능한가? 이 경우 특정 객체 유형에 맞춘 초모수 조정이 필요하지 않은가?
• RQ4 환경 흐름 통합이 복잡한 추적 환경에서 데이터 연동 정확도를 어떻게 향상시키는가?
• RQ5 환경 흐름 기반 운동 예측은 3D MOT에서 수동으로 조정해야 하는 초모수 의존도를 어느 정도 감소시키는가?

주요 결과

• FlowMOT는 KITTI MOT 검증 세트에서 mmMOT(ICCV '19)와 FANTrack(IV '19)를 크게 앞서며, 특히 sAMOTA 기준으로 뚜렷한 성능 우월성을 보였다.
• 차량 유형에서는 AB3DMOT(IROS '20)와 경쟁 가능한 성능을 달성했으며, 더 엄격한 IoU 임계치 하에서 원시 검출 기반 ID 전파의 정확도가 높아 더 높은 성능를 기록했다.
• 보행자 유형에서는 AB3DMOT를 능가했으며, 후자의 경우 고정된 운동 모델이 보행자 운동 특성에 적합하지 않아 어려움을 겪는 반면, FlowMOT는 학습된 흐름을 통해 자연스럽게 적응하였다.
• 고속 주행 또는 저프레임 레이트 환경(5Hz 샘플링으로 시뮬레이션)에서 FlowMOT는 안정적인 성능 유지를 보였고, 반면 AB3DMOT는 고정된 공분산 행렬 조정으로 인해 성능 저하가 심각하게 나타났다.
• 기존 필터 기반 방법과 달리 다양한 객체 유형 간에 초모수 재조정이 필요 없어, FlowMOT는 객체 유형 간 일반화 능력에서 뛰어난 성능를 보였다.
• 정성적 결과를 통해 FlowMOT는 프레임 손실이나 고속 운동 상황에서도 객체를 성공적으로 추적했으며, 반면 AB3DMOT는 고정된 운동 가정으로 인해 실패함을 확인할 수 있었다.