[논문 리뷰] MoNet3D: Towards Accurate Monocular 3D Object Localization in Real Time

Xichuan Zhou, YiChong Peng외 3명|arXiv (Cornell University)|2020. 06. 29.

Advanced Neural Network Applications인용 수 6

한 줄 요약

MoNet3D는 근접한 객체 간 국소 기하 일관성을 활용하여 실시간 단안 3D 객체 위치 추정을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 3D 공간 내 거리에 기반한 정규화 항을 통합함으로써 KITTI 데이터셋에서 깊이 정확도 96.25%, 수평 좌표 정확도 94.74%를 달성하며, 추론 속도는 27.85 FPS로, 임베디드 ADAS 시스템에 실용적으로 구현 가능한 성능을 제공한다.

ABSTRACT

Monocular multi-object detection and localization in 3D space has been proven to be a challenging task. The MoNet3D algorithm is a novel and effective framework that can predict the 3D position of each object in a monocular image and draw a 3D bounding box for each object. The MoNet3D method incorporates prior knowledge of the spatial geometric correlation of neighbouring objects into the deep neural network training process to improve the accuracy of 3D object localization. Experiments on the KITTI dataset show that the accuracy for predicting the depth and horizontal coordinates of objects in 3D space can reach 96.25\% and 94.74\%, respectively. Moreover, the method can realize the real-time image processing at 27.85 FPS, showing promising potential for embedded advanced driving-assistance system applications. Our code is publicly available at https://github.com/CQUlearningsystemgroup/YicongPeng.

연구 동기 및 목표

• 자신이 내재한 깊이 정보 없이 단일 단안 RGB 영상에서 정확한 3D 객체 위치 추정 문제를 해결한다.
• 이미지 왜곡과 가림 현상에 민감한 기존 단안 방법의 전역 기하 일관성 가정에 기반한 한계를 극복한다.
• 근접한 객체 간 국소 공간 관계를 인덕티브 바이어스로 통합하여 3D 위치 추정 정확도 향상 및 학습 수렴 개선을 도모한다.
• 저자원 소비로 실시간 성능을 확보하여 임베디드 고급 운전자 보조 시스템(ADAS)에 적합한 성능을 달성한다.
• LiDAR 센서를 대체하여 자율주행 차량에 비용 효율적인 3D 인식 솔루션을 제공한다.

제안 방법

• 특징 추출, 2D 객체 검출, 3D 위치 추정의 세 단계로 구성된 엔드 투 엔드 딥 신경망 설계.
• 근접한 객체 간 깊이가 유사할 경우 3D 공간 내 거리가 유지되어야 한다는 국소 기하 일관성 기반의 새로운 정규화 항 도입.
• 3D 경계 상자 예측을 학습 중에 안내하기 위해 이산화 가능한 손실 구성 요소로 국소 일관성 제약 조건을 수식화.
• 다양한 객체 크기에서 검출 및 위치 추정 정확도 향상을 위해 백본 네트워크의 다중 척도 특징 활용.
• 검출 손실과 제안된 기하 정규화를 조합하여 총 손실 함수 최적화를 통해 일반화 성능 향상.
• 경량 아키텍처와 효율적인 특징 처리를 통해 추론 효율성 확보하여 실시간 동작 가능하게 설계.

실험 결과

연구 질문

• RQ1 근접한 3D 객체 간 국소 기하 일관성은 단안 3D 위치 추정 정확도 향상에 기여하는가?
• RQ2 국소 공간 사전 지식을 통합할 경우 3D 객체 검출 네트워크의 수렴성 및 강건성에는 어떤 영향을 미치는가?
• RQ3 단안 방법이 실시간 추론 속도를 유지하면서도 최신 기술 수준의 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 정규화 방법은 다양한 네트워크 아키텍처와 데이터셋에 일반화 가능한가?
• RQ5 임베디드 플랫폼에 단안 3D 검출을 구현할 경우 정확도와 실시간 성능 간의 상충 관계는 어떻게 나타나는가?

주요 결과

• MoNet3D는 KITTI 데이터셋에서 3D 객체의 깊이 예측 정확도 96.25%를 달성하여 이전의 단안 방법들을 크게 능가한다.
• 수평 좌표 예측 정확도 94.74%를 확보하여 뛰어난 공간 위치 추정 성능를 입증한다.
• IoU 임계값 0.3에서 KITTI에서 3D 객체 검출 정확도 72.56%를 기록하여 최신 기술 수준에 도달했다.
• 표준 컴퓨터에서 27.85 FPS로 실행되어 실시간 성능이 뛰어나 임베디드 시스템에 적합함을 입증한다.
• NVIDIA Jetson AGX Xavier 임베디드 플랫폼에서 5 FPS 이상 유지하며 전력 소비 26.13W로 에지 배포 가능성 입증.
• 제안된 국소 일관성 정규화는 추론 속도를 저하시키지 않은 채 학습 수렴성 및 일반화 성능 향상에 기여한다.