[논문 리뷰] Relation-Shape Convolutional Neural Network for Point Cloud Analysis

Yongcheng Liu, Bin Fan외 2명|arXiv (Cornell University)|2019. 04. 16.

3D Shape Modeling and Analysis참고 문헌 54인용 수 91

한 줄 요약

RS-CNN은 규칙적 격자 CNN을 불규칙 포인트 클라우드에 확장하여 포인트 간 기하학적 관계를 학습하고 분류, 세분화 및 법선 추정 작업에서 최첨단 결과를 달성한다.

ABSTRACT

Point cloud analysis is very challenging, as the shape implied in irregular points is difficult to capture. In this paper, we propose RS-CNN, namely, Relation-Shape Convolutional Neural Network, which extends regular grid CNN to irregular configuration for point cloud analysis. The key to RS-CNN is learning from relation, i.e., the geometric topology constraint among points. Specifically, the convolutional weight for local point set is forced to learn a high-level relation expression from predefined geometric priors, between a sampled point from this point set and the others. In this way, an inductive local representation with explicit reasoning about the spatial layout of points can be obtained, which leads to much shape awareness and robustness. With this convolution as a basic operator, RS-CNN, a hierarchical architecture can be developed to achieve contextual shape-aware learning for point cloud analysis. Extensive experiments on challenging benchmarks across three tasks verify RS-CNN achieves the state of the arts.

연구 동기 및 목표

• 불규칙 포인트 클라우드에 대한 순열 불변성, 변환 강건성 및 형태 의식 표현을 다룬다.
• 중심점과 이웃 간의 고수준 관계를 학습하는 관계-형상 합성곱(RS-Conv)을 제안한다.
• 포인트 클라우드에 대한 맥락적 형태 인식 학습을 가능하게 하는 계층적 RS-CNN 아키텍처를 구축한다.
• 분류, 세분화 및 법선 추정 작업 전반에서 최첨단 성능을 입증한다.

제안 방법

• 샘플링된 중심점 x_i 주위에 이웃 N(x_i)로 국부 구면 이웃을 구성한다.
• 전통적인 이웃당 가중치를 관계 매핑 w_ij = M(h_ij)으로 대체하고, h_ij가 저차 기하학적 사전 정보를 인코딩한다.
• 대칭 함수 A(예: max)로 변환된 이웃 특징을 집계하여 f_{P_sub}를 얻는다.
• f_{P_sub}에 채널 상승 MLP를 적용하여 더 높은 수준의 표현을 얻는다.
• 공유 가중치를 갖는 세 가지 스케일 이웃을 사용하여 다중 스케일 기하를 포착한다.
• xyz 좌표를 입력으로 사용하여 분류 및 세분화와 같은 작업에 대해 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 기하학적 관계를 학습함으로써 규칙 격자 CNN 개념을 불규칙 포인트 클라우드에 어떻게 확장할 수 있는가?
• RQ2 관계-형상 합성곱이 순열 불변성과 강체 변환에 대한 강건성을 제공하면서 형태 인지 표현을 얻을 수 있는가?
• RQ3 분류, 세분화 및 법선 추정 작업에서 RS-CNN의 성능은 최첨단 방법과 비교하여 어떤가?

주요 결과

• RS-CNN은 xyz 입력(1k 포인트)으로 10번 투표 테스트 후 ModelNet40에서 93.6% 정확도를 달성한다.
• RS-CNN은 ModelNet40 분류에서 PointNet++의 오차를 31.2% 감소시킨다.
• ShapeNet 부품 분할에서 RS-CNN은 클래스 mIoU 84.0%, 인스턴스 mIoU 86.2%를 달성한다.
• RS-CNN을 사용한 ModelNet40의 법선 추정에서 보고된 오차는 0.15로, PointNet++(0.29)보다 현저히 좋다.
• RS-CNN은 샘플링 밀도 및 기하학적 교란에 대한 강건성을 보여주며 입력 포인트를 줄였을 때도 경쟁력 있는 성능을 유지한다.