[논문 리뷰] Part-A^2 Net: 3D Part-Aware and Aggregation Neural Network for Object Detection from Point Cloud

Shaoshuai Shi, Zhe Wang외 2명|arXiv (Cornell University)|2019. 07. 08.

3D Shape Modeling and Analysis인용 수 25

한 줄 요약

이 논문은 3D 객체 검출을 위한 point cloud 기반 프레임워크인 Part-A² Net을 제안한다. 이는 부분 인식 특징 학습과 RoI 인식 풀링을 활용하여 검출 정확도를 향상시킨다. 3D 제안 영역과 객체 내부의 부분 위치를 지도 데이터 상의 진짜 박스로부터 유래한 무료 지도 정보를 통해 동시에 예측하고, 새로운 풀링 모듈을 통해 부분 특징을 집계함으로써, 오직 point cloud 입력만을 사용하여 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose the part-aware and aggregation neural network (Part-A^2 net) for 3D object detection from point cloud. The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage learns to simultaneously predict coarse 3D proposals and accurate intra-object part locations with the free-of-charge supervisions derived from 3D ground-truth boxes. The predicted intra-object part locations within the same proposals are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the features of 3D proposals. Then the part-aggregation stage learns to re-score the box and refine the box location based on the pooled part locations. We present extensive experiments on the KITTI 3D object detection dataset, which demonstrate that both the predicted intra-object part locations and the proposed RoI-aware point cloud pooling scheme benefit 3D object detection and our Part-A^2 net outperforms state-of-the-art methods by utilizing only point cloud data.

연구 동기 및 목표

• 객체 내부의 부분 위치를 명시적으로 모델링하여 point cloud로부터 3D 객체 검출 정확도를 향상시키는 것.
• 추가 애너테이션 없이도 3D 진짜 박스에서 유도된 무료 지도 정보를 활용하여 부분 위치 예측을 지도하는 것.
• 제안 영역 내에서 부분 수준의 특징을 효과적으로 집계할 수 있는 RoI 인식 point cloud 풀링 모듈을 설계하는 것.
• 오직 point cloud 데이터만을 사용하여 KITTI 3D 검출 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.
• 부분 인식 표현과 특징 집계가 표준 제안 기반 방법을 초월하여 3D 검출 성능을 크게 향상시킨다는 것을 입증하는 것.

제안 방법

• 부분 인식 스테이지에서는 3D 진짜 박스에서 유도된 무료 지도 정보를 활용하여, 근사적인 3D 제안 영역과 객체 내부의 부분 위치를 동시에 예측한다.
• 예측된 부분 위치를 동일한 제안 영역 내에서 그룹화하여 압축된, 부분 인식 특징 표현을 생성하는 새로운 RoI 인식 point cloud 풀링 모듈을 제안한다.
• 풀링된 부분 특징을 사용하여 3D 제안 박스의 재평가 및 정밀 조정을 수행함으로써 국소화 및 분류 성능을 향상시킨다.
• 추가적인 부분 애너테이션이 필요 없이 오직 point cloud 데이터만을 사용하여 엔드 투 엔드 방식으로 프레임워크를 학습한다.
• RoI 인식 풀링 메커니즘은 부분 특징을 해당 제안 영역에 맞추어 정렬함으로써 공간 일관성을 확보한다.
• point cloud의 기하학적 구조를 활용하여 부분 수준의 주의 메커니즘과 특징 집계를 통해 구분 능력 있는 특징을 학습한다.

실험 결과

연구 질문

• RQ1 3D 진짜 박스에서 유도된 무료 지도 정보만을 사용하여 객체 내부의 부분 위치를 효과적으로 예측할 수 있는가?
• RQ2 표준 풀링 방법과 비교했을 때, RoI 인식 point cloud 풀링은 3D 객체 제안 영역의 특징 표현을 향상시키는가?
• RQ3 추가 애너테이션이 없이도 부분 인식 특징 학습과 집계가 3D 객체 검출 성능 향상에 기여하는가?
• RQ4 KITTI 벤치마크에서 제안된 방법은 최신 기술 수준의 방법들과 비교해 검출 정확도에서 어떤가?
• RQ5 부분 인식 특징은 point cloud 기반 3D 검출에서 국소화 및 분류 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 Part-A² Net은 오직 point cloud 데이터만을 사용하여 KITTI 3D 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 예측된 객체 내부의 부분 위치를 포함시킴으로써 검출 정확도가 크게 향상되며, 부분 인식 표현의 가치를 입증한다.
• RoI 인식 point cloud 풀링 모듈은 부분 수준의 특징을 효과적으로 집계하여 더 구분 능력 있는 제안 표현을 만들어낸다.
• 기존 최신 기술 수준의 접근 방식들을 초월하여 KITTI 데이터셋에서 뛰어난 성능을 보이며, 제안된 아키텍처의 효과성을 확인한다.
• 3D 진짜 박스에서 유도된 무료 지도 정보를 통해 추가 애너테이션이 없이도 정확한 부분 위치 예측이 가능하다.
• 제거 실험을 통해 부분 인식 스테이지와 부분 집계 스테이지 모두가 최종 검출 성능 향상에 기여한다는 것이 확인된다.