[논문 리뷰] From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network

Shaoshuai Shi, Zhe Wang외 3명|arXiv (Cornell University)|2019. 07. 08.

Advanced Neural Network Applications참고 문헌 63인용 수 99

한 줄 요약

Part-A2 net을 도입한 두 단계 3D 객체 탐지기이며, LiDAR 포인트 클라우드를 활용하고 intra-object part locations와 RoI-aware pooling을 이용해 3D 탐지를 개선하고, 포인트 클라우드 데이터만으로 KITTI에서 최첨단 성능을 달성합니다.

ABSTRACT

3D object detection from LiDAR point cloud is a challenging problem in 3D scene understanding and has many practical applications. In this paper, we extend our preliminary work PointRCNN to a novel and strong point-cloud-based 3D object detection framework, the part-aware and aggregation neural network (Part-$A^2$ net). The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage for the first time fully utilizes free-of-charge part supervisions derived from 3D ground-truth boxes to simultaneously predict high quality 3D proposals and accurate intra-object part locations. The predicted intra-object part locations within the same proposal are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the geometry-specific features of each 3D proposal. Then the part-aggregation stage learns to re-score the box and refine the box location by exploring the spatial relationship of the pooled intra-object part locations. Extensive experiments are conducted to demonstrate the performance improvements from each component of our proposed framework. Our Part-$A^2$ net outperforms all existing 3D detection methods and achieves new state-of-the-art on KITTI 3D object detection dataset by utilizing only the LiDAR point cloud data. Code is available at https://github.com/sshaoshuai/PointCloudDet3D.

연구 동기 및 목표

• 3D 정답 상자에서 파생된 자유로운 객체 내부 파트 위치 감독을 활용하여 구별력 있는 3D 포인트 특징을 학습한다.
• 부분 정보를 사용하여 포인트 클라우드에서 3D 박스를 제안하고 다듬는 두 단계 탐지기를 개발한다.
• 정확한 박스 정제를 위해 기하학적 정보를 보존하는 RoI-aware 포인트 클라우드 풀링을 도입한다.

제안 방법

• 두 단계 프레임워크로 부분 인식 단계(Stage-I)와 부분 집계 단계(Stage-II)를 갖는다.
• Stage-I은 전경 분할과 객체 내부 파트 위치를 학습하고 anchor-free 또는 anchor-based 전략을 통해 3D 제안을 생성한다.
• Stage-II는 RoI-aware pooling으로 파트 특징을 집계하고 박스 점수화 및 정제를 위해 희소 컨볼루션을 적용한다.
• 객체 내부 파트 위치는 정답 상자 내 전경 포인트의 상대적 3D 위치로 정의되며 대응 손실로 학습된다.
• Anchor-free 제안 생성은 이진 기반 센터 회귀와 잔차 보정을 사용하여 객체 중심 및 방향을 예측한다.
• Anchor-based 제안 생성은 비전뷰 기능에 Region Proposal Network를 사용하고 미리 정의된 3D 앵커와 잔차 기반 회귀 손실을 사용한다.

실험 결과

연구 질문

• RQ1 3D 경계 상자에서 얻은 자유로운 객체 내부 파트 위치 정보가 포인트 클라우드의 3D 물체 탐지를 어떻게 향상시킬 수 있는가?
• RQ2 RoI-aware pooling을 갖춘 두 단계 탐지기가 LiDAR 데이터만 사용하는 단일 단계 및 다른 두 단계 방법을 능가할 수 있는가?
• RQ3 포인트 클라우드 기반 탐지에서 3D 제안 생성을 위한 효과적인 전략은 무엇인가? (anchor-free 대 anchor-based)
• RQ4 미분 가능 RoI-aware pooling 연산이 박스 점수화 및 위치 정제를 향상시키는가?
• RQ5 Part-A2 net이 KITTI와 같은 표준 벤치마크에서 기존 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• Part-A2 net은 LiDAR 포인트 클라우드 데이터만으로 KITTI에서 최첨단 3D 탐지 성능을 달성한다.
• 부분 인식 단계는 객체 내부 파트 위치를 동시에 예측하고 3D 제안을 생성한다.
• 부분 집계 단계에서 RoI-aware pooling은 학습된 파트 특징을 통해 제안 점수화와 위치 정제를 향상시킨다.
• 두 가지 제안 생성 전략(anchor-free 및 anchor-based)은 서로 다른 배포 요구를 충족한다; anchor-free는 메모리 효율적이고 anchor-based는 더 높은 재현율을 제공한다.
• 이 프레임워크는 2019년 8월 15일 기준 KITTI에서 14 FPS로 실행되며 당시 발표된 방법들을 능가한다.