[논문 리뷰] Once Detected, Never Lost: Surpassing Human Performance in Offline LiDAR based 3D Object Detection

Lue Fan, Yuxue Yang외 5명|arXiv (Cornell University)|2023. 04. 24.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 감지된 객체가 한 번도 손실되지 않도록 보장함으로써 뛰어난 성능을 달성하는 트랙 중심의 오프라인 LiDAR 3D 객체 검출 시스템인 CTRL을 제안한다. 이는 모델 앙상블 없이도 웨이모 오픈 데이터셋에서 인간 수준의 정확도를 초월하며, 수백만 건의 검출에서 차량의 0.48%만을 놓치고 있다.

ABSTRACT

This paper aims for high-performance offline LiDAR-based 3D object detection. We first observe that experienced human annotators annotate objects from a track-centric perspective. They first label the objects with clear shapes in a track, and then leverage the temporal coherence to infer the annotations of obscure objects. Drawing inspiration from this, we propose a high-performance offline detector in a track-centric perspective instead of the conventional object-centric perspective. Our method features a bidirectional tracking module and a track-centric learning module. Such a design allows our detector to infer and refine a complete track once the object is detected at a certain moment. We refer to this characteristic as "onCe detecTed, neveR Lost" and name the proposed system CTRL. Extensive experiments demonstrate the remarkable performance of our method, surpassing the human-level annotating accuracy and the previous state-of-the-art methods in the highly competitive Waymo Open Dataset without model ensemble. The code will be made publicly available at https://github.com/tusen-ai/SST.

연구 동기 및 목표

• 인간 수준의 애너테이션 정확도를 초월하는 고성능 오프라인 LiDAR 기반 3D 객체 검출기를 개발하는 것.
• 시간적 일관성을 활용해 가려진 객체를 추론하는 데 중점을 두는 인간 애너테이터의 행동을 모델링하는 것.
• 한 번 감지된 객체가 시간에 걸쳐 추적 가능하도록 보장함으로써 객체 손실을 제거하는 것, 특히 저포인트 밀도 프레임에서도 마찬가지로 적용된다.
• 복잡한 시간적 융합이나 모델 앙상블에 의존도를 줄이며 높은 정확도를 유지하면서 자동 애너테이션 파이프라인을 단순화하는 것.

제안 방법

• 기본 검출기로 초기 검출을 생성한 후, 단순한 운동 모델을 사용해 앞뒤 방향으로 트랙을 연장하는 양방향 추적 모듈을 적용한다.
• 트랙 중심 학습 모듈은 전체 트랙 동안 모든 객체 제안 및 포인트 클라우드 특징을 동시에 정밀하게 보정하며, 트랙을 개별 검출이 아닌 첫 번째 유형의 실체로 간주한다.
• 객체 수준의 매칭 대신 트랙 수준의 매칭(트랙 중심 할당)을 사용함으로써 데이터 연동의 강건성을 향상시킨다.
• 선택적 트랙 일관성 최적화(TCO)를 지원하며, 포인트 클라우드 정렬을 통해 트랙 내 모든 예측을 하나의 고품질의 진짜 박스에 일치시킨다.
• 중요한 시간 융합 또는 앙상블 방법을 피함으로써, 최소한의 계산 오버헤드로 효율적인 추론을 가능하게 한다.
• 이 방법은 단순하고 확장 가능하도록 설계되었으며, 입력 트랙 길이에 상한선이 없어 성능 향상에 크게 기여한다.

실험 결과

연구 질문

• RQ1 인간 애너테이터의 행동을 모방함으로써 오프라인 3D 객체 검출기가 인간 수준의 애너테이션 정확도를 초월할 수 있는가?
• RQ2 트랙을 첫 번째 유형의 실체로 간주하는 트랙 중심 검출 파라다임이 기존의 객체 중심 접근 방식보다 더 높은 성능을 낼 수 있는가?
• RQ3 모델 앙상블에 의존하지 않고도 양방향 추적과 트랙 수준의 정밀 조정이 저포인트 밀도 프레임에서 객체 손실을 줄일 수 있는가?
• RQ4 트랙 일관성 최적화는 특히 높은 IoU 임계값에서 검출 정확도를 얼마나 향상시키는가?
• RQ5 모델 앙상블 및 복잡한 시간 융합이 없는 경우 추론 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• CTRL는 웨이모 오픈 데이터셋 검증 세트에서 3D AP 83.9를 기록하며, 3DAL에서 보고된 인간 수준의 성능를 초월한다. 비교를 위해 정규화된 값 100으로 표준화되어 있다.
• 수백만 건의 검출에서 차량의 0.48%만을 놓치며, 놀라운 트랙 유지 능력을 보여준다.
• 트랙 일관성 최적화(TCO)를 적용한 결과, IoU=0.8일 때 자전거 운전자에 대해 3D AP가 11.6 포인트 향상되어 준고정성 클래스에 대한 강력한 정밀 조정 능력을 입증한다.
• 3DAL 대비 20배 빠른 속도를 기록하며, 20초 분량의 시퀀스에 대해 총 추론 시간이 46초로, TTA나 앙상블에 의존도를 줄여 928초에서 크게 감소하였다.
• 기본 온라인 검출기에서 최종 오프라인 시스템으로의 성능 로드맵을 보면 10.9 AP 포인트의 일관된 향상이 있었으며, 이는 양방향 추적과 트랙 중심 정밀 조정이 핵심 기여 요소임을 시사한다.
• 모델 앙상블 없이도 이전의 모든 최고 성능의 온라인 및 오프라인 검출기, 앙상블 기반 방법들을 초월한다.