[논문 리뷰] PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

Charles R. Qi, Yi Li외 2명|arXiv (Cornell University)|2017. 06. 07.

Image Processing and 3D Reconstruction인용 수 7,051

한 줄 요약

PointNet++은 metric space에서 포인트 세트를 재귀적으로 중첩된 로컬 영역에서 PointNet을 적용하여 처리하는 계층적 네트워크를 도입한다. 이는 3D 포인트 구름과 비유클리드 데이터에 대해 다중 스케일, 밀도-에 맞춘 적응형 특징 학습을 가능하게 한다.

ABSTRACT

Few prior works study deep learning on point sets. PointNet by Qi et al. is a pioneer in this direction. However, by design PointNet does not capture local structures induced by the metric space points live in, limiting its ability to recognize fine-grained patterns and generalizability to complex scenes. In this work, we introduce a hierarchical neural network that applies PointNet recursively on a nested partitioning of the input point set. By exploiting metric space distances, our network is able to learn local features with increasing contextual scales. With further observation that point sets are usually sampled with varying densities, which results in greatly decreased performance for networks trained on uniform densities, we propose novel set learning layers to adaptively combine features from multiple scales. Experiments show that our network called PointNet++ is able to learn deep point set features efficiently and robustly. In particular, results significantly better than state-of-the-art have been obtained on challenging benchmarks of 3D point clouds.

연구 동기 및 목표

• 메트릭 공간에 위치하고 종종 비 균일하게 샘플링되는 포인트 세트에 대한 학습을 유도한다.
• 다중 스케일에서 지역 구조를 포착하기 위한 계층적 아키텍처를 개발한다.
• 적응적 다중 스케일 특징 집계를 통해 비균일한 샘플링 밀도에 대응한다.
• 계층적 프레임워크 내에서 로컬 특징 학습기로 PointNet을 활용한다.
• 2D/3D 데이터셋과 비유클리드 공간에서의 견고성과 효율성을 Demonstrate 한다.

제안 방법

• 포인트 세트를 메트릭 공간 거리로 격자화하여 중첩 로컬 영역으로 분할하는 계층적 신경망을 정의한다.
• 수용 필드의 중심점을 선택하기 위해 가장 멀리 떨어진 샘플링(FPS)을 사용한다.
• 볼 질의를 통해 이웃 포인트를 그룹화하고 미니-PointNet으로 로컬 영역을 인코딩한다.
• 점차적으로 상위 특징으로 추상화하는 여러 세트 추상화 수준을 구축한다.
• 밀도 변화에 대응하기 위해 다중 스케일 그룹화(MSG) 및 다중 해상도 그룹화(MRG)를 도입한다.
• 학습 중 입력 드롭아웃(Random input dropout)을 도입하여 스케일 간 적응 가중치를 학습하고, 거리 기반 보간과 skip 연결을 통해 원래 포인트로 특징을 역전파한다.

실험 결과

연구 질문

• RQ1 계층적이고 메트릭-스페이스 인식 아키텍처가 포인트 세트의 다중 스케일 로컬 기하 구조를 포착할 수 있는가?
• RQ2 세밀한 디테일을 손상시키지 않으면서 비균일한 샘플링 밀도를 어떻게 처리할 수 있는가?
• RQ3 밀도 적응 다중 스케일 전략이 실제 세계의 조밀도에서 희박까지의 포인트 구름 벤치마크의 강건성과 정확도를 향상시키는가?
• RQ4 PointNet++가 유클리드 및 비유클리드(내재 메트릭) 포인트 세트에 효과적인가?
• RQ5 다중 스케일 및 밀도 인식 설계가 의미적 분할 및 객체 분류 작업에 미치는 영향은 무엇인가?

주요 결과

• 계층적 아키텍처는 MNIST 및 ModelNet40 분류에서 Vanilla PointNet보다 현저히 성능이 개선된다.
• 다중 스케일 및 밀도 적응 전략은 다양한 샘플링 밀도에서 견고한 성능을 가능하게 한다.
• MSG와 DP(학습 중 랜덤 입력 드롭아웃)는 밀도 변화에 대해 강력한 견고성을 제공하며 테스트 밀도가 감소해도 성능 저하가 최소화된다.
• MRG는 밀도 전반에 걸친 적응 정보 집계를 보존하면서 MSG의 계산적 효율성을 제공한다.
• PointNet++는 3D 포인트 구름 벤치마크에서 ScanNet의 의미 체계 라벨링 및 SHREC15의 비강체 형상 분류를 포함하여 최첨단 또는 경쟁력 있는 결과를 달성한다.
• 이 접근 방식은 고유 구조를 포착하기 위해 내재 특성과 지오데식 이웃을 사용함으로써 비유클리드 메트릭 공간에도 일반화된다.