[논문 리뷰] SRINet: Learning Strictly Rotation-Invariant Representations for Point Cloud Classification and Segmentation

Xiao Sun, Zhouhui Lian외 1명|arXiv (Cornell University)|2019. 11. 06.

3D Shape Modeling and Analysis참고 문헌 12인용 수 9

한 줄 요약

SRINet는 데이터 증강 없이도 3D 점군 분류 및 분할 작업에서 엄격한 회전 불변 표현을 가능하게 하는 새로운 점 투영 특징을 제안한다. 주요 축에 점들을 투영하고, 그래프 집합 및 학습된 키포인트 기반 특징을 사용하는 PointNet 기반 백본을 통해, ModelNet40에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Point cloud analysis has drawn broader attentions due to its increasing demands in various fields. Despite the impressive performance has been achieved on several databases, researchers neglect the fact that the orientation of those point cloud data is aligned. Varying the orientation of point cloud may lead to the degradation of performance, restricting the capacity of generalizing to real applications where the prior of orientation is often unknown. In this paper, we propose the point projection feature, which is invariant to the rotation of the input point cloud. A novel architecture is designed to mine features of different levels. We adopt a PointNet-based backbone to extract global feature for point cloud, and the graph aggregation operation to perceive local shape structure. Besides, we introduce an efficient key point descriptor to assign each point with different response and help recognize the overall geometry. Mathematical analyses and experimental results demonstrate that the proposed method can extract strictly rotation-invariant representations for point cloud recognition and segmentation without data augmentation, and outperforms other state-of-the-art methods.

연구 동기 및 목표

• 기준 방향에 의존하는 딥 러닝 모델의 한계를 해결함으로써, 점군 분석에서의 성능 저하를 방지하기 위해 회전에 대해 불변인 표현을 개발한다.
• 데이터 증강에 의존하지 않고도 엄격한 회전 불변성을 확보하는 표현을 개발한다.
• 수작업으로 설계된 키포인트 기반 특징을 통해 기하학적으로 두드러진 영역에 초점을 맞춰 특징 학습을 향상시킨다.
• 분류 및 분할 작업을 위한 통합 아키텍처를 통해 전역 및 국소 특징 추출을 가능하게 한다.
• 보조적인 볼륨화 또는 시점 기반 변환 없이도 좌표에서 직접 회전 불변 특징을 학습할 수 있음을 입증한다.

제안 방법

• 점 투영 특징은 각 3D 점을 주요 축 세 개에 대한 투영과 중심점에서의 벡터 노름을 사용해 4차원 표현으로 매핑함으로써, 회전 불변성을 보장한다.
• PointNet 기반 백본은 투영된 4차원 특징을 처리하여 전역적인 점군 표현을 추출한다.
• K-최근접 이웃 기반 그래프 집합을 통해 투영된 공간에서 국소 형태 구조를 포착한다.
• 지역 법선 변화를 기반으로 수작업으로 정의된 키포인트 기반 특징을 사용해 모서리 및 가장자리에 더 높은 반응을 부여함으로써 특징 학습을 유도한다.
• 전역 특징과 키포인트 반응을 요소별 덧셈으로 통합함으로써 기하학적 두드러진 구조에 대한 민감도를 향상시킨다.
• 분류 및 분할 작업 간에 동일한 아키텍처를 공유하며, 통합된 전처리 특징 추출 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 데이터 증강 없이도 3D 점군에 대해 엄격한 회전 불변 표현을 달성할 수 있는가?
• RQ2 회전 불변 특징 공간에서 국소 기하학적 구조를 효과적으로 포착할 수 있는가?
• RQ3 수작업으로 설계된 키포인트 기반 특징이 PointNet 기반 아키텍처와 함께 사용될 경우 3D 형태 인식 성능 향상에 기여하는가?
• RQ4 기존의 회전 불변 특징(예: 점 쌍 특징)과 비교했을 때 제안된 점 투영 특징의 분류 능력은 어떻게 되는가?
• RQ5 회전 불변 3D 분석에서 우수한 성능을 달성하기 위해 최적의 최근접 이웃 수와 입력 점의 수는 얼마인가?

주요 결과

• SRINet는 ModelNet40 분류에서 87.01%의 정확도와 1024개 입력 점을 사용한 파트 분할에서 89.28%의 정확도를 기록하여 최신 기술을 초월한다.
• 모델은 입력 점군이 회전하더라도 성능 저하 없이 높은 성능을 유지하여 엄격한 회전 불변성을 입증한다.
• 키포인트 탐지 모듈을 제거할 경우 분류 정확도가 1.42% 감소하고 IoU는 0.66% 감소하여, 이 모듈의 효과를 확인한다.
• 1024개 입력 점에서 최고의 성능를 기록하며, 512 또는 2048개 점에서도 성능 저하가 최소한이어서 해상도 변화에 대한 강건성을 입증한다.
• 점 투영 특징은 동일한 설정에서 점 쌍 특징의 68.9%보다 훨씬 높은 82.2%의 분류 정확도를 기록하여, 뛰어난 분류 능력을 입증한다.
• 49개 이웃을 사용한 그래프 집합이 가장 높은 분할 성능(IoU: 76.56%)을 기록하여, 더 넓은 국소 수신 영역이 형태 인식 능력을 향상시킨다는 것을 보여준다.