[논문 리뷰] MoGDE: Boosting Mobile Monocular 3D Object Detection with Ground Depth Estimation

Yunsong Zhou, Quan Liu외 4명|arXiv (Cornell University)|2023. 03. 23.

Advanced Neural Network Applications인용 수 4

한 줄 요약

MoGDE는 카메라 자세와 투시 기하학을 이용해 지면 깊이를 추정하고, 이를 트랜스포머 기반 RGB-D 특징 융합 네트워크를 통해 융합함으로써 모바일 환경에서 정확도와 강인성을 향상시키는 새로운 단안 3D 객체 검출 프레임워크를 제안한다. 이는 KITTI 3D 벤치마크에서 최고 성능을 기록하며, 특히 먼 거리에 있는 객체에 대해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Monocular 3D object detection (Mono3D) in mobile settings (e.g., on a vehicle, a drone, or a robot) is an important yet challenging task. Due to the near-far disparity phenomenon of monocular vision and the ever-changing camera pose, it is hard to acquire high detection accuracy, especially for far objects. Inspired by the insight that the depth of an object can be well determined according to the depth of the ground where it stands, in this paper, we propose a novel Mono3D framework, called MoGDE, which constantly estimates the corresponding ground depth of an image and then utilizes the estimated ground depth information to guide Mono3D. To this end, we utilize a pose detection network to estimate the pose of the camera and then construct a feature map portraying pixel-level ground depth according to the 3D-to-2D perspective geometry. Moreover, to improve Mono3D with the estimated ground depth, we design an RGB-D feature fusion network based on the transformer structure, where the long-range self-attention mechanism is utilized to effectively identify ground-contacting points and pin the corresponding ground depth to the image feature map. We conduct extensive experiments on the real-world KITTI dataset. The results demonstrate that MoGDE can effectively improve the Mono3D accuracy and robustness for both near and far objects. MoGDE yields the best performance compared with the state-of-the-art methods by a large margin and is ranked number one on the KITTI 3D benchmark.

연구 동기 및 목표

• 단안 시각에서의 근-원 거리 비대칭으로 인한 먼 거리 객체 검출 정확도 저하 문제를 해결하기 위해.
• 자율주행차나 드론과 같은 모바일 애플리케이션에서 흔한 동적 카메라 자세 변화에 대한 Mono3D 검출기의 강인성을 향상시키기 위해.
• 카메라 자세와 투시 기하학을 이용해 픽셀 수준의 깊이를 추정함으로써 지면 깊이를 사전 지식으로 활용해 3D 객체 검출을 안내하기 위해.
• 기존의 이미지 전용 Mono3D 검출기와의 통합을 위해 유연하고 플러그인 방식의 모듈을 설계하기 위해.
• 특히 어려운 객체와 먼 거리 객체 검출에 있어 KITTI 3D 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 시야 방향을 추정하기 위해, 퇴측점과 수평선 검출을 이용해 이미지 특징에서 카메라 피치와 롤을 추정하는 자세 검출 네트워크를 설계한다.
• 가상의 장면(하늘과 지면만 포함)을 가정하고 3D에서 2D 투시 투영을 이용해 픽셀 수준의 지면 깊이 특징 맵을 구성한다.
• 장거리 자기주도 어텐션을 활용해 지면에 접촉하는 지점을 식별하고 깊이 특징을 이미지 특징과 정렬하는 지면 인식 트랜스포머 기반 특징 융합 네트워크를 설계한다.
• RGB-D 특징 융합 모듈은 추정된 지면 깊이를 이미지 특징과 융합하여 3D 경계 상자 예측 정확도를 향상시킨다.
• 기존의 이미지 전용 Mono3D 검출기와의 통합을 위해 아키텍처의 대대적 개편 없이도 적용 가능한 플러그인 모듈로 설계되었다.
• 다양한 자세 조건에서의 성능 저하를 측정함으로써 강인성을 평가하기 위해, 추론 연구에서 카메라 자세 변동을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 지면 깊이 추정이 먼 거리 객체 검출 정확도 향상에 뚜렷한 영향을 미치는가, 특히 먼 객체에 대해?
• RQ2 트랜스포머 기반 융합 메커니즘을 통해 추정된 지면 깊이를 이미지 특징과 융합하는 것이 얼마나 효과적인가?
• RQ3 모바일 환경에서의 동적 카메라 자세 변화에 대해 MoGDE는 얼마나 강인한가?
• RQ4 제안된 지면 깊이 추정 및 융합 구성 요소는 기존의 이미지 전용 Mono3D 검출기에 효과적으로 통합될 수 있는가?
• RQ5 투시 기하학과 자세 추정을 활용할 경우 실제 모바일 환경에서 더 신뢰할 수 있는 깊이 사전 지식을 확보할 수 있는가?

주요 결과

• MoGDE는 KITTI 3D 벤치마크에서 모든 최고 수준의 기법들 중에서 최고 성능을 기록하며 1위를 차지했다.
• M3D-RPN에 적용했을 때, 쉽게 검출 가능한 객체(AP3D)에 대해 +5.32점, 중간 수준의 객체에 대해 +5.77점, 어려운 객체에 대해 +5.97점의 성능 향상을 기록했다.
• Kinematic3D로 확장했을 경우, AP3D는 쉽게 검출 가능한 객체에 대해 +1.83점, 중간 수준의 객체에 대해 +2.44점, 어려운 객체에 대해 +2.30점 향상되었으며, APBEV는 각각 +1.97, +3.08, +2.86점 향상되었다.
• 큰 카메라 자세 변동 조건에서도 성능 저하가 최소한이었으며, 기준 검출기 대비 강력한 강인성을 입증했다.
• 시각화 결과, 트랜스포머 어텐션 메커니즘이 효과적으로 지면에 접촉하는 지점을 집중적으로 식별하고 깊이 정보를 객체 특징과 연결함을 확인했다.
• 플러그인 설계 덕분에 다양한 기존 Mono3D 검출기에서 일관된 성능 향상을 확보했으며, 이는 방법의 유연성과 일반화 능력을 확인한다.