[논문 리뷰] Joint stereo 3D object detection and implicit surface reconstruction

Shichao Li, Huang, Xijie외 2명|arXiv (Cornell University)|2021. 11. 25.

Advanced Vision and Imaging참고 문헌 86인용 수 4

한 줄 요약

이 논문은 RGB 스테레오 이미지에서 스테레오 3D 객체 검출, 정확한 SO(3) 방향 추정, 암묵적 표면 재구성을 동시에 수행하는 새로운 이중 단계 학습 프레임워크인 S-3D-RCNN을 제안한다. 이미지 특징을 3D 객체 부위 좌표로 점진적으로 매핑하기 위해 중간 기하 표현(Implicit Geometrical Representations, IGRs)을 도입하고, 이를 기반으로 표면 가시성 모델링을 수행함으로써, 새로운 평가 지표를 포함한 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 방향 정확도 향상과 환영된 형태 재구성 성능 향상이 두드러진다.

ABSTRACT

We present a new learning-based framework S-3D-RCNN that can recover accurate object orientation in SO(3) and simultaneously predict implicit rigid shapes from stereo RGB images. For orientation estimation, in contrast to previous studies that map local appearance to observation angles, we propose a progressive approach by extracting meaningful Intermediate Geometrical Representations (IGRs). This approach features a deep model that transforms perceived intensities from one or two views to object part coordinates to achieve direct egocentric object orientation estimation in the camera coordinate system. To further achieve finer description inside 3D bounding boxes, we investigate the implicit shape estimation problem from stereo images. We model visible object surfaces by designing a point-based representation, augmenting IGRs to explicitly address the unseen surface hallucination problem. Extensive experiments validate the effectiveness of the proposed IGRs, and S-3D-RCNN achieves superior 3D scene understanding performance. We also designed new metrics on the KITTI benchmark for our evaluation of implicit shape estimation.

연구 동기 및 목표

• 외부 환경에서 단안 및 스테레오 RGB 이미지로부터 정확한 3D 객체 속성 추정(특히 방향 및 형태)에 도전하는 것.
• 외관과 3D 기하량 사이의 의미적 갭을 해소하기 위해 이미지 픽셀과 3D 기하 양상 간의 다리를 놓는 중간 기하 표현(IGRs)을 도입하는 것.
• 단일 뷰 방향 추정을 스테레오 입력으로 확장하여, 보행자 및 자전거와 같이 크거나 대표되지 않는 객체에 대해 정확도와 강건성을 향상시키는 것.
• 가시 표면 점을 모델링하고 미관측 표면의 환영 문제를 해결함으로써 3D 경계 상자 내에서 암묵적 형태 재구성을 가능하게 하는 것.
• 기존 3D 검출 평가 지표를 넘어서 형태 검색 및 표면 기하학적 정밀도를 평가하기 위한 새로운 평가 지표(AP_MMD 및 MMDTP)를 개발하는 것.

제안 방법

• 이중 단계 파이프라인을 사용한다: 첫 번째 단계에서 스테레오 RGB 이미지로부터 3D 객체 제안을 생성하고, 두 번째 단계에서 IGRs를 활용해 방향 및 형태 예측을 정밀화한다.
• IGRs는 히트맵에서 2D 부위 좌표를 회귀하여 카메라 좌표계 내 3D 객체 부위 좌표로 올리는 방식으로 학습된다.
• 객체 좌표계 내에서 가시 객체 표면 점을 모델링하기 위해 새로운 점 기반 표현을 도입함으로써 암묵적 형태 추정이 가능해진다.
• 환영 모듈(Ha)은 가시 점군을 기반으로 미관측 표면에 대해 신뢰할 수 있는 점들을 생성함으로써 형태 완전성 향상을 도모한다.
• 마스크 헤드를 사용하여 배경 점을 억제함으로써 형태 재구성 과정에서의 노이즈를 감소시킨다.
• 검출, 방향, 형태 재구성 목표를 통합한 다중 작업 손실로 학습되며, 형태 정밀도 평가를 위한 새로운 MMD 기반 지표가 적용된다.

실험 결과

연구 질문

• RQ1 직접 회귀와 비교해 볼 때, 중간 기하 표현(IGRs)이 스테레오 환경에서 3D 객체 방향 추정 성능을 향상시키는가?
• RQ2 제안된 방법이 보행자 및 자전거와 같이 크기나 빈도가 적은 외부 환경 객체에 대해 일반화 가능한가?
• RQ3 점 기반 표현이 미관측 표면의 환영을 최소화하면서 암묵적 형태를 효과적으로 재구성할 수 있는가?
• RQ4 스테레오 입력과 IGRs의 통합이 단일 뷰 기반 기준 대비 방향 정확도 향상과 형태 재구성 향상에 기여하는가?
• RQ5 실제 환경에서 노이즈가 많은 3D 경계 상자 제안에 대해 제안된 방법이 얼마나 강건한가?

주요 결과

• S-3D-RCNN는 2D 검출 성능이 완벽한 경우(KITTI 검증 세트에서 AP2D=109.00) AOS 점수 99.58%를 기록하여 기준 모델(95.22%)과 Deep3DBox(98.48%)를 크게 앞서며 뛰어난 성능을 보였다.
• PPCs를 통한 스테레오 입력 추가로 인해 단일 뷰 Ego-Net 대비 하드 샘플에서 AOS가 7.43% 향상되어 다중 뷰 융합의 이점이 입증되었다.
• Ha 모듈을 적용함으로써 (0,10m] 깊이 범위에서 MMDTP가 Ha 없이 0.027에서 0.0051로 감소하여, 신뢰할 수 있는 표면 점 환영의 효과를 입증하였다.
• 마스크 예측은 평균적으로 MMDTP를 40% 향상시켜 배경 점 억제가 형태 재구성 품질 향상에 기여한다는 것을 보여주었다.
• 이동 노이즈가 증가함에 따라(최대 ±0.2m)도 성능이 안정적으로 유지되어 제안 품질 변동에 대한 강건성을 입증하였다.
• 새로운 지표 AP_MMD를 통해 Ego-Net++가 IoU > 0.7 조건에서 Disp R-CNN 대비 AP_MMD에서 12.5% 향상되어 제안된 형태 검색 평가의 효과성을 검증하였다.