[논문 리뷰] MonoGRNet: A Geometric Reasoning Network for Monocular 3D Object Localization

Zengyi Qin, Jinglu Wang외 1명|arXiv (Cornell University)|2018. 11. 26.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 29

한 줄 요약

MonoGRNet는 단일 RGB 영상에서 3D 객체 위치를 정확하게 추론하기 위해 통합적이고 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 3D 검출을 점진적인 기하학적 추론 단계로 분리한다: 2D 검출, 인스턴스 수준의 깊이 추정(IDE), 3D 중심 위치 추정, 국소 모서리 회귀. 희소한 지도 학습을 통해 3D 경계 상자 중심의 깊이를 직접 예측하고 픽셀 수준의 깊이 추정을 회피함으로써, KITTI에서 0.06초 이내의 추론 시간으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Detecting and localizing objects in the real 3D space, which plays a crucial role in scene understanding, is particularly challenging given only a single RGB image due to the geometric information loss during imagery projection. We propose MonoGRNet for the amodal 3D object detection from a monocular RGB image via geometric reasoning in both the observed 2D projection and the unobserved depth dimension. MonoGRNet is a single, unified network composed of four task-specific subnetworks, responsible for 2D object detection, instance depth estimation (IDE), 3D localization and local corner regression. Unlike the pixel-level depth estimation that needs per-pixel annotations, we propose a novel IDE method that directly predicts the depth of the targeting 3D bounding box's center using sparse supervision. The 3D localization is further achieved by estimating the position in the horizontal and vertical dimensions. Finally, MonoGRNet is jointly learned by optimizing the locations and poses of the 3D bounding boxes in the global context. We demonstrate that MonoGRNet achieves state-of-the-art performance on challenging datasets.

연구 동기 및 목표

• 2D 투영 과정에서 깊이 정보가 손실되는 단일 RGB 영상에서 3D 객체 위치를 정확히 추론하는 문제를 해결하기 위해.
• 일반적으로 작은, 가림당하거나 잘린 객체를 간과하는 픽셀 수준의 깊이 추정의 한계를 극복하기 위해.
• 2D 경계 상자 중심과 3D 중심의 2D 투영을 구분함으로써 3D 위치 추정 정확도를 향상시키기 위해.
• 기하학적 구성 요소를 공동 최적화하여 단일 RGB 입력만으로도 효율적이고 정확한 3D 경계 상자 예측을 가능하게 하기 위해.

제안 방법

• MonoGRNet는 네 가지 작업 전용 하위망으로 구성된 통합 네트워크이다: 2D 검출, 인스턴스 수준의 깊이 추정(IDE), 3D 위치 추정, 국소 모서리 회귀.
• IDE 모듈은 깊은 특징에서 넓은 수신장과 고해상도의 초기 특징을 융합하여 픽셀 단위의 애너테이션 없이도 3D 경계 상자 중심의 깊이를 예측한다.
• 3D 중심은 별도로 예측된 3D 중심의 2D 투영과 IDE 출력을 조합하여 추정되며, 이는 3D 공간에서의 기하학적 추론을 가능하게 한다.
• 국소 모서리 회귀는 기울여진, 객체 기반 좌표 프레임에서 수행되어 3D 자세 추정의 모호성을 줄인다.
• 전역적 맥락에서 3D 경계 상자 불일치를 최소화하는 공동 기하학적 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 모서리 회귀 이전의 좌표 변환 단계는 국소 프레임을 객체의 방향에 맞추어 정렬함으로써 자세 추정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 희소한 깊이 지도 학습을 피하고 통합 네트워크를 사용함으로써 단일 RGB 영상에서 3D 객체 위치 추정 성능을 향상시킬 수 있는가?
• RQ2 픽셀 수준의 깊이 추정에 비해 인스턴스 수준의 깊이 추정은 3D 검출 정확도와 잘린 것, 가림당한 경우에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ3 2D 경계 상자 중심과 3D 중심의 2D 투영을 구분함으로써 3D 위치 추정 정확도가 향상되는가?
• RQ4 객체 기반 좌표 프레임에서 국소 모서리 회귀를 수행하면 3D 경계 상자 추정의 회전 모호성이 감소하는가?
• RQ5 2D 및 3D 공간에서의 기하학적 추론은 단일 영상 3D 검출의 추론 속도와 정확도에 어떤 영향을 미치는가?

주요 결과

• MonoGRNet는 단일 영상 3D 객체 검출 분야에서 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법들을 능가한다.
• 모델은 높이, 너비, 길이, 자세 각도에 대해 각각 0.084m, 0.084m, 0.412m, 0.251라디안의 평균 오차를 기록하여 강력한 3D 경계 상자 회귀 능력을 입증한다.
• 추론 시간은 1장의 영상당 0.06초 이내로, 현재까지 공개된 가장 빠른 단일 영상 3D 검출기 중 하나이다.
• 제거 분석 결과, 2D 경계 상자 중심 대신 3D 중심의 2D 투영을 사용할 경우 수평 및 수직 위치 오차가 각각 0.08m와 0.60m 감소함을 확인하였다.
• 객체 기반 국소 모서리 회귀를 사용함으로써 자세 오차는 0.442에서 0.251라디안으로 감소하여, 이는 회전 모호성 감소에 효과적임을 입증한다.
• 잘린 것, 가림당한 객체에 대해서도 일반화 능력이 뛰어나, 영상 프레임 외부로 부분적으로 노출된 차량조차도 성공적으로 위치를 추정한다.