[논문 리뷰] Deep Fitting Degree Scoring Network for Monocular 3D Object Detection

Lijie Liu, Jiwen Lu외 3명|arXiv (Cornell University)|2019. 04. 26.

Advanced Neural Network Applications참고 문헌 2인용 수 10

한 줄 요약

이 논문은 단일 영상 기반 3D 객체 검출을 위한 딥 피팅 디그리 스코링 네트워크(FQNet)를 제안하며, 2D 이미지 특징만을 사용하여 3D 제안과 객체 간의 3D 교차율(Intersection over Union, IoU)을 추정함으로써 3D 위치 추정 정확도를 향상시킨다. 앵커 기반 방법을 통해 차원과 방향을 회귀하고, 이후 2D 투영 중첩을 통해 후보 3D 박스를 스코링함으로써 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 높은 IoU 임계치에서 기존 단일 영상 기반 방법들을 능가한다.

ABSTRACT

In this paper, we propose to learn a deep fitting degree scoring network for monocular 3D object detection, which aims to score fitting degree between proposals and object conclusively. Different from most existing monocular frameworks which use tight constraint to get 3D location, our approach achieves high-precision localization through measuring the visual fitting degree between the projected 3D proposals and the object. We first regress the dimension and orientation of the object using an anchor-based method so that a suitable 3D proposal can be constructed. We propose FQNet, which can infer the 3D IoU between the 3D proposals and the object solely based on 2D cues. Therefore, during the detection process, we sample a large number of candidates in the 3D space and project these 3D bounding boxes on 2D image individually. The best candidate can be picked out by simply exploring the spatial overlap between proposals and the object, in the form of the output 3D IoU score of FQNet. Experiments on the KITTI dataset demonstrate the effectiveness of our framework.

연구 동기 및 목표

• 깊이 정보가 부족하고 2D 외관이 위치 추정에 모호한 단일 영상 기반 3D 객체 검출의 불안정한 성격을 해결하기 위해.
• 2D 검출 오차에 민감하고 시각적 외관 정보를 효율적으로 활용하지 못하는 타이트한 제약 기반 방법의 한계를 극복하기 위해.
• 2D 이미지 공간에서 투영된 3D 제안과 객체 간의 피팅 정도 스코어를 학습하여 3D 위치 정밀도를 향상시키기 위해.
• 스테레오, RGB-D, 또는 포인트 클라우드 데이터에 의존하지 않고 단일 단일 영상만으로 고정밀 3D 검출을 가능하게 하기 위해.
• 앵커 기반 회귀와 딥 피팅 정도 스코링을 통합한 종단간(end-to-end) 3D 검출을 위한 통합 파이프라인 수립을 위해.

제안 방법

• 앵커를 사용하여 3D 공간에서 객체의 차원과 방향을 회귀하여 初기 3D 제안을 생성한다.
• 3D 공간에 걸쳐 밀도 높은 수의 3D 경계 상자 후보를 밀도 있게 샘플링하고, 이를 2D 이미지 평면에 투영한다.
• Fitting Quality Network(FQNet)은 2D 특징만을 사용하여 각 투영된 3D 제안과 진짜 객체 간의 3D IoU를 예측하도록 훈련된다.
• FQNet은 2D 투영과 객체 간의 공간적 중첩 패턴을 활용하여 3D 공간 관계를 추론함으로써 강력한 후보 선택이 가능해진다.
• 최종 검출 결과는 FQNet이 예측한 3D IoU 스코어가 가장 높은 3D 제안으로 선택된다.
• 차원, 방향, 3D IoU 예측에 다중 작업 감독을 적용하여 종단간으로 훈련된다.

실험 결과

연구 질문

• RQ1 투영된 3D 제안의 2D 시각적 특징을 효과적으로 활용하여 3D IoU를 추정하고 단일 영상 기반 3D 검출의 정확도를 향상시킬 수 있는가?
• RQ2 2D 투영과 객체 간의 피팅 정도 스코어를 학습하는 것이 타이트한 제약 기반 방법보다 더 견고한 3D 위치 추정을 가능하게 하는가?
• RQ3 2D 투영에만 기반한 딥 네트워크가 명시적 깊이 감독 없이도 고정밀 3D 검출을 달성할 수 있는가?
• RQ4 표준 벤치마크인 KITTI에서 제안된 방법은 최신 기술 수준의 단일 영상 기반 3D 검출 접근법과 비교해 어떻게 성능을 내는가?
• RQ5 FQNet은 다양한 IoU 임계치와 난이도 수준에서 검출 성능 향상에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 방법은 IoU=0.5일 때 KITTI 3D 검출 벤치마크에서 3D AP 28.98%를 달성하여 기존 단일 영상 기반 방법들을 능가한다.
• 더 도전적인 IoU 임계치 0.7에서 중간 난이도 셋에서는 5.45%의 3D AP를 기록하여 단일 영상 기반 방법 중에서 1위를 차지하며, 이 수준에서 스테레오 기반 3DOP를 초월한다.
• 평균 차원 추정 오차는 약 0.15미터로, 비교된 방법들 중에서 가장 낮아 크기와 형태의 정확한 회귀를 입증한다.
• 쉬움 및 중간 난이도 수준에서 뚜렷한 향상이 나타나며, Mono3D와 Deep3DBox 대비 벌점 시각(AP)에서 3%p의 절대적 향상을 기록한다.
• FQNet은 진짜 3D IoU와 0.85의 상관관계를 보이며, 피팅 정도 추정의 강력한 일반화 및 신뢰성을 입증한다.
• 정성적 결과는 2D 검출이 완벽하지 않은 경우에도 다양한 환경에서 잘 맞는 3D 경계 상자를 생성함을 보여준다.