[논문 리뷰] Monocular 3D Object Detection Leveraging Accurate Proposals and Shape Reconstruction

Jason S. Ku, Alex Pon외 1명|arXiv (Cornell University)|2019. 04. 02.

Robotics and Sensor-Based Localization참고 문헌 42인용 수 21

한 줄 요약

이 논문은 투영 기하학과 객체 좌표계에서의 학습 가능한 포인트 클라우드를 통해 2D 검출에서 정확한 3D 제안을 생성함으로써 단안 3D 객체 검출 방법인 MonoPSR를 제안한다. 2D-3D 일致성을 강제하기 위해 새로운 투영 일치 손실을 도입함으로써 KITTI 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 보행자 및 자전거 기사 클래스에 대해 새로운 SOTA 결과를 기록하였고, 이는 이전의 단안 방법 대비 68% 향상된 성능이다.

ABSTRACT

We present MonoPSR, a monocular 3D object detection method that leverages proposals and shape reconstruction. First, using the fundamental relations of a pinhole camera model, detections from a mature 2D object detector are used to generate a 3D proposal per object in a scene. The 3D location of these proposals prove to be quite accurate, which greatly reduces the difficulty of regressing the final 3D bounding box detection. Simultaneously, a point cloud is predicted in an object centered coordinate system to learn local scale and shape information. However, the key challenge is how to exploit shape information to guide 3D localization. As such, we devise aggregate losses, including a novel projection alignment loss, to jointly optimize these tasks in the neural network to improve 3D localization accuracy. We validate our method on the KITTI benchmark where we set new state-of-the-art results among published monocular methods, including the harder pedestrian and cyclist classes, while maintaining efficient run-time.

연구 동기 및 목표

• 2D 객체 검출기에서 유도된 강력한 기하학적 사전 지식을 활용하여 단안 3D 객체 검출의 과도하게 제약된 성격을 해결하기 위해.
• 2D 바운딩 박스와 투영 기하학적 제약 조건을 기반으로 고품질의 3D 제안을 유도함으로써 3D 검색 공간을 줄여 3D 위치 결정 정확도를 향상시키기 위해.
• 고정된 CAD 모델에 의존하는 대신 예측된 인스턴스 포인트 클라우드에서 유도된 형태 및 척도 정보를 활용하여 위치 결정을 향상시키기 위해.
• 2D 이미지 관측치와 3D 예측치 간의 일致성을 보장하는 새로운 투영 일치 손실을 도입하여 3D 검출 및 형태 복원을 공동 최적화하기 위해.
• KITTI 3D 검출 벤치마크에서 최신 기술 수준의 성능을 달성하며, 보행자 및 자전거 기사 카테고리에 대해 이전에 보고되지 않은 결과를 포함하기 위해.

제안 방법

• 이 방법은 투영 기하학 모델에서의 객체 높이와 깊이 간의 관계를 활용하여 2D 바운딩 박스 중심의 재투영을 통해 3D 중심을 추정함으로써 3D 제안을 생성한다.
• Faster R-CNN에 영감을 얻은 두 단계 제안 회귀 프레임워크를 사용하여 앵커 박스에서 시작해 최종적인 무형, 기울어진 3D 바운딩 박스로 개선한다.
• 인스턴스 복원 모듈이 캐논리컬 객체 좌표계에서 포인트 클라우드를 예측하여 국소 형태와 척도 정보를 인코딩한다.
• 예측된 포인트 클라우드는 추정된 중심을 사용해 카메라 좌표계로 변환되며, 이로 인해 위치 결정과 형태 복원의 공동 최적화가 가능해진다.
• 재구성된 3D 포인트 클라우드를 이미지 공간으로 투영하고 2D 검출 박스와의 일치를 강제하기 위해 새로운 투영 일치 손실을 도입한다.
• 모든 손실, 특히 투영 일치 손실을 포함한 집계 손실을 사용해 엔드 투 엔드로 네트워크를 훈련함으로써 제안 회귀, 포인트 클라우드 추정, 2D-3D 일치를 공동 최적화한다.

Figure 1: Pipeline for 3D Object Detection and Instance Point Cloud Estimation: Our network takes an image with 2D bounding boxes and regresses instance-centric 3D proposals to produce 3D bounding boxes. Simultaneously, instance point clouds are estimated to recover local shape and scale, and to enf

실험 결과

연구 질문

• RQ1 핀홀 카메라 기하학을 활용해 2D 검출에서 유도된 3D 제안이 3D 위치 결정 검색 공간을 상당히 줄이고 정확도를 향상시킬 수 있는가?
• RQ2 예측된 포인트 클라우드를 통한 형태 복원이 단안 환경에서 3D 객체 위치 결정을 효과적으로 향상시킬 수 있는가?
• RQ3 새로운 투영 일치 손실을 포함한 공동 최적화 프레임워크가 2D-3D 일치성을 향상시키고 검출 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 도전적인 클래스인 보행자 및 자전거 기사에 대해 KITTI 벤치마크에서 최신 기술 수준의 결과를 달성하는가?
• RQ5 제한적인 가정이나 제한된 사전 지식에 의존하는 이전의 단안 방법보다 뛰어난 성능을 내면서도 높은 효율성을 유지할 수 있는가?

주요 결과

• MonoPSR는 KITTI 벤치마크에서 이전의 단안 SOTA 방법 대비 0.5 IoU에서 3D AP가 68% 향상되었다.
• 메서드는 KITTI 검증 세트에서 보행자 및 자전거 기사 검출에 대해 새로운 SOTA 결과를 기록하였으며, 각각 0.25 IoU에서 31.89% 및 23.77%의 3D AP를 달성하였다.
• 3D 제안의 사용으로 디지털 깊이 추정 오차가 하드 카테고리에서 평균 절대 오차 1.22m(표준편차 1.84m)로 감소하였으며, 직접적인 깊이 추정보다 뛰어난 성능을 보였다.
• 투영 일치 손실을 통한 공동 최적화는 형태 복원 손실이 없는 기준 모델 대비 0.5 IoU에서 3D AP를 7.2% 향상시켰다.
• 메서드는 효율적인 추론 시간을 유지하였으며, Titan X GPU에서 총 실행 시간이 120ms였고, 이는 2D 검출기의 80ms를 포함한다.
• 정성적 결과는 차량과 자전거의 3D 박스 투영이 2D 검출과 밀도 있게 일치함을 보여주었으며, 보행자 투영의 큰 변동성에도 불구하고 충분히 민첩하게 대응할 수 있었다.

Figure 2: Network Architecture: The network produces a feature map using an image crop of an object and global context features as inputs. From this feature map three tasks are performed a) the dimensions and orientation are predicted to estimate a proposal b) offsets for the proposals are regressed