[논문 리뷰] DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking

Qing Lian, Tai Wang외 2명|arXiv (Cornell University)|2023. 03. 29.

Advanced Vision and Imaging인용 수 4

한 줄 요약

DORT는 다중 카메라 3D 객체 검출에서 정적 가정에 기인한 국소화 편향을 보정하기 위해 동적 객체 운동을 모델링하는 반복적 프레임워크를 제안한다. 개별 객체별 국소 3D 볼륨과 운동 및 위치의 반복적 정밀화를 통해 정확한 시간적 특징 집합을 가능하게 하여, 복잡한 부가 기능 없이도 nuScenes에서 SOTA 성능인 62.5% NDS와 57.6% AMOTA를 달성한다.

ABSTRACT

Recent multi-camera 3D object detectors usually leverage temporal information to construct multi-view stereo that alleviates the ill-posed depth estimation. However, they typically assume all the objects are static and directly aggregate features across frames. This work begins with a theoretical and empirical analysis to reveal that ignoring the motion of moving objects can result in serious localization bias. Therefore, we propose to model Dynamic Objects in RecurrenT (DORT) to tackle this problem. In contrast to previous global Bird-Eye-View (BEV) methods, DORT extracts object-wise local volumes for motion estimation that also alleviates the heavy computational burden. By iteratively refining the estimated object motion and location, the preceding features can be precisely aggregated to the current frame to mitigate the aforementioned adverse effects. The simple framework has two significant appealing properties. It is flexible and practical that can be plugged into most camera-based 3D object detectors. As there are predictions of object motion in the loop, it can easily track objects across frames according to their nearest center distances. Without bells and whistles, DORT outperforms all the previous methods on the nuScenes detection and tracking benchmarks with 62.5\% NDS and 57.6\% AMOTA, respectively. The source code will be released.

연구 동기 및 목표

• 시간적 특징 집합 중 모든 객체가 정적라고 가정함으로써 발생하는 다중 카메라 3D 검출에서의 국소화 편향 문제를 해결한다.
• 운동과 위치를 동시에 추정해야 하는 딜레마를 해결하기 위해 반복적 정밀화 메커니즘을 도입한다.
• 전체 Bird's-Eye-View (BEV) 표현 방식에 비해 계산 비용을 줄이면서도 개별 객체의 특징 표현을 유지하여 운동 모델링을 가능하게 한다.
• 예측된 운동을 활용해 프레임 간 검출 결과를 정렬함으로써 엔드 투 엔드로 공동 3D 객체 검출 및 트래킹을 가능하게 한다.
• 기존의 카메라 기반 3D 검출기의 아키텍처를 크게 수정하지 않고도 최소한의 수정으로 nuScenes 벤치마크에서 SOTA 성능을 달성하여 실용적인 플러그인 호환성을 입증한다.

제안 방법

• 전체 BEV 연산에 비해 계산 비용을 줄이기 위해 개별 객체별 국소 3D 볼륨을 도입하여 운동 인식 특징을 추출한다.
• 예측된 객체 운동을 기반으로 이전 프레임의 국소 볼륨을 현재 프레임로 왜곡하여 시간적 비용 볼륨을 구성한다.
• 왜곡된 비용 볼륨을 감독으로 사용하여 운동 및 위치 예측을 반복적으로 정밀화하는 반복 모듈을 구현한다.
• 운동 및 위치 예측을 동시에 업데이트할 수 있는 미분 가능 정밀화 루프를 도입하여 공동 최적화를 가능하게 한다.
• 예측된 운동을 활용해 프레임 간 검출 결과를 정렬함으로써 추가 헤드 설계 없이도 자연스럽게 다중 객체 트래킹을 가능하게 한다.
• 두 프레임 이상을 포함하도록 반복 파이프라인을 확장하여 다중 프레임 시간 모델링을 지원함으로써 운동 추정의 안정성을 향상시킨다.

Figure 1 : Visualization of object localization from temporal correspondence. Previous work ignores the motion of moving objects, which leads to imprecise localization. Our work progressively refines the object’s location and motion so that the preceding features can be precisely aggregated.

실험 결과

연구 질문

• RQ1 시간적 특징 집합 중 객체를 정적으로 가정할 경우 다중 카메라 3D 검출에서 3D 객체 국소화 정확도에 어떤 영향을 미치는가?
• RQ2 운동 및 위치 예측을 반복적으로 정밀화함으로써 시간적 특징 정렬과 깊이 추정 편향을 개선할 수 있는가?
• RQ3 전체 BEV 표현 방식에 비해 개별 객체별 국소 3D 볼륨을 사용할 경우 계산 효율성과 검출 성능에 어떤 영향을 미치는가?
• RQ4 정적 가정에 비해 명시적 운동 모델링이 공동 검출 및 트래킹 성능에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 아키텍처의 대대적 개선 없이도 기존의 카메라 기반 3D 검출기에 탄력적으로 통합될 수 있는가?

주요 결과

• DORT는 nuScenes 검출 벤치마크에서 62.5% NDS를 달성하여 이전의 모든 방법을 뛰어넘는 성능을 보였다.
• DORT는 nuScenes 트래킹 벤치마크에서 57.6% AMOTA를 기록하여 강력한 공동 검출 및 트래킹 성능을 입증했다.
• 정답 운동 정보를 사용할 경우 정적 가정 대비 mAP가 4.3% 향상되어 운동 모델링의 필요성을 입증했다.
• 예측된 운동 정보 역시 정적 가정 대비 2.9% mAP 향상을 기록하여 제안된 동적 모델링 모듈의 효과성을 검증했다.
• 제거 분석 결과, 개별 객체별 국소 볼륨은 전체 BEV와 유사한 성능을 달성하면서도 특히 페르스펙티브 뷰에서 상당히 낮은 FLOPS를 기록하여 효율성을 입증했다.
• 반복적 정밀화 과정을 통해 운동 및 검출 정확도에 점진적인 성능 향상이 이루어지며, 다수의 반복 단계를 거치면서도 지속적인 개선이 관찰되었다.

Figure 2 : Empirical analysis of the depth bias on the nuScenes dataset if objects are assumed static.