[논문 리뷰] Objects are Different: Flexible Monocular 3D Object Detection

Yunpeng Zhang, Jiwen Lu외 1명|arXiv (Cornell University)|2021. 04. 06.

Robotics and Sensor-Based Localization참고 문헌 43인용 수 14

한 줄 요약

이 논문은 간선 특징 표현을 통해 잘린 객체를 분리하고 불확실성 유도 통합 학습을 통해 깊이 추정기들을 적응적으로 조합하는 유연한 단안 3D 객체 검출 프레임워크인 MonoFlex를 제안한다. 실시간 추론을 유지하면서 KITTI 벤치마크의 중간 수준에서 27%, 디도 수준에서 30% 향상된 AP 성능을 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

The precise localization of 3D objects from a single image without depth information is a highly challenging problem. Most existing methods adopt the same approach for all objects regardless of their diverse distributions, leading to limited performance for truncated objects. In this paper, we propose a flexible framework for monocular 3D object detection which explicitly decouples the truncated objects and adaptively combines multiple approaches for object depth estimation. Specifically, we decouple the edge of the feature map for predicting long-tail truncated objects so that the optimization of normal objects is not influenced. Furthermore, we formulate the object depth estimation as an uncertainty-guided ensemble of directly regressed object depth and solved depths from different groups of keypoints. Experiments demonstrate that our method outperforms the state-of-the-art method by relatively 27\% for the moderate level and 30\% for the hard level in the test set of KITTI benchmark while maintaining real-time efficiency. Code will be available at \url{https://github.com/zhangyp15/MonoFlex}.

연구 동기 및 목표

• 기존 방법이 자주 간과하는 단안 이미지 내에서 심하게 잘린 3D 객체 검출 문제를 해결하기 위해.
• 장꼬리 분포를 띠는, 검출이 어려운 객체들이 일반 검출 성능에 악영향을 미치는 것을 줄이기 위해.
• 다양한 깊이 추정 전략을 적응적으로 조합하여 깊이 추정의 강건성을 향상시키기 위해.
• 간선 융합 모듈을 사용하여 잘린 객체에 대한 특징 학습과 예측을 분리함으로써 성능을 향상시키기 위해.
• 각 깊이 추정기의 불확실성을 모델링하여 다중 깊이 예측 소스에 대한 동적 가중치 조정을 가능하게 하기 위해.

제안 방법

• 2D 중심점과 간선 점을 각각 내부 객체와 외부 객체로 분리하여 객체 예측을 분리한다.
• 외부 객체에 대한 특징 학습과 예측을 분리하기 위해 간선 융합 모듈을 도입하여 잘린 객체의 국소화 성능을 향상시킨다.
• 키포인트를 M개의 그룹으로 분할하여 각 그룹이 기하학적 깊이 해결에 충분하도록 하여, 가림과 잘림에 대한 강건성을 향상시킨다.
• 직접 회귀와 키포인트 기반 솔루션을 포함한 각 깊이 추정기의 불확실성을 모델링하고, 불확실성 가중 평균을 통해 통합한다.
• 추정된 불확실성에 기반해 깊이 예측을 동적으로 선택하고 조합하는 소프트 통합 학습을 활용하여 강건성을 향상시킨다.
• 모든 객체 유형에서 정확도를 향상시키면서도 실시간 추론을 유지하는 공동 최적화 기반의 학습 기반 기법을 적용한다.

실험 결과

연구 질문

• RQ1 잘린 객체를 일반 객체와 분리함으로써 단안 3D 검출의 성능 향상이 가능할까?
• RQ2 가림과 잘림이 존재하는 상황에서 불확실성 유도 통합 학습이 깊이 추정의 강건성을 어떻게 향상시키는가?
• RQ3 다양한 깊이 추정 방법의 적응적 조합이 고정된 단일 방법보다 우월한 성능을 낼 수 있을까?
• RQ4 간선 인식 표현은 장꼬리 분포를 띠는, 심하게 잘린 객체의 검출에 얼마나 기여하는가?
• RQ5 불확실성 기반의 통합 기법은 최상의 깊이 추정기 선택 기준인 오라클 성능에 얼마나 가까이 다가갈 수 있는가?

주요 결과

• 제안된 방법은 최신 기술 수준의 방법 대비 KITTI 벤치마크의 중간 수준에서 3D AP가 27% 상승하고 디도 수준에서는 30% 상승하였다.
• 불확실성 유도 통합된 깊이 추정기들은 차량에 대해 디도 수준에서 23.64 AP를 기록하여 개별 추정기(예: 직접 회귀의 경우 14.83)를 크게 능가하였다.
• 소프트 통합 방법은 IoU > 0.5 조건에서 보행자 검출에 8.16 AP를 기록하여 오라클 성능인 8.54에 매우 가까이 다가갔다. 이는 뛰어난 적응성과 함께 강력한 성능을 보여준다.
• 간선 융합 모듈은 심하게 잘린 객체의 효과적인 검출을 가능하게 하였으며, 빨간 타원으로 강조된 시각적 결과를 통해 이를 확인할 수 있었다.
• 다양한 깊이 추정기의 공동 학습은 모든 그룹에서 성능 향상을 이끌었으며, 이는 특징 학습이 통합 학습의 이점을 얻고 있음을 보여준다.
• 이 방법은 실시간 추론 효율성을 유지하여 자율 주행 시스템에 실용적으로 적용 가능한 것으로 확인되었다.