[논문 리뷰] Geometry Sharing Network for 3D Point Cloud Classification and Segmentation

Mingye Xu, Zhipeng Zhou외 1명|arXiv (Cornell University)|2019. 12. 23.

3D Shape Modeling and Analysis참고 문헌 30인용 수 6

한 줄 요약

이 논문은 기하 변환에 대해 강건성을 향상시키기 위해 유클리드 공간과 고유값 공간에서 특징을 공동으로 집계하는 기하 유사성 연결(GSC) 모듈을 통해 기하학적 공유 네트워크(GS-Net)를 제안한다. 고유값 그래프를 활용해 국소 기하학적 특성이 유사한 먼 점들을 그룹화함으로써 GS-Net은 국소적이고 통합적인 구조적 특징을 포착하여 ModelNet40에서 93.3%의 정확도를 달성하며, 회전과 이동에 대한 강건성을 향상시킨다.

ABSTRACT

In spite of the recent progresses on classifying 3D point cloud with deep CNNs, large geometric transformations like rotation and translation remain challenging problem and harm the final classification performance. To address this challenge, we propose Geometry Sharing Network (GS-Net) which effectively learns point descriptors with holistic context to enhance the robustness to geometric transformations. Compared with previous 3D point CNNs which perform convolution on nearby points, GS-Net can aggregate point features in a more global way. Specially, GS-Net consists of Geometry Similarity Connection (GSC) modules which exploit Eigen-Graph to group distant points with similar and relevant geometric information, and aggregate features from nearest neighbors in both Euclidean space and Eigenvalue space. This design allows GS-Net to efficiently capture both local and holistic geometric features such as symmetry, curvature, convexity and connectivity. Theoretically, we show the nearest neighbors of each point in Eigenvalue space are invariant to rotation and translation. We conduct extensive experiments on public datasets, ModelNet40, ShapeNet Part. Experiments demonstrate that GS-Net achieves the state-of-the-art performances on major datasets, 93.3% on ModelNet40, and are more robust to geometric transformations.

연구 동기 및 목표

• 큰 기하 변환(예: 회전 및 이동)이 발생하는 상황에서도 강건한 3D 포인트 클라우드 분류 문제를 해결한다.
• 기존 3D CNN이 국소 유클리드 이웃에만 의존하여 전반적인 기하학적 구조를 포착하지 못하는 한계를 극복한다.
• 멀리 떨어져 있지만 기하학적으로 유사한 점들로부터의 통합된 국소 기하학적 맥락과 전반적인 구조적 단서를 통해 특징 표현을 향상시킨다.
• 특징 학습 과정에서 구조 텐서와 고유값 그래프를 활용하여 강성 변환에 불변인 방법을 개발한다.
• 계산 효율성과 파라미터 효율성을 유지하면서도 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 국소 기하학적 특징과 전반적인 기하학적 특징을 모두 포착하기 위해 유클리드 공간과 고유값 공간에서 이웃 점들을 그룹화하는 기하 유사성 연결(GSC) 모듈을 제안한다.
• 각 점의 구조 텐서를 사용하여 고유값 그래프를 구축하며, 이는 국소 기하학적 성질(예: 곡률 및 대칭성)을 인코딩한다.
• 구조 텐서의 고유값과 고유벡터를 사용해 기하학적 유사도를 정의함으로써, 국소 기하학적으로 유사한 먼 점들을 그룹화할 수 있다.
• 유클리드 공간과 고유값 공간의 이웃 영역에서 컨벌루션을 수행한 후, 결과 특징을 결합하거나 융합하여 후속 작업에 활용한다.
• 이론적으로 고유값 공간에서의 가장 가까운 이웃이 회전과 이동에 대해 불변임을 증명함으로써 기하학적 강건성을 확보한다.
• GSC 모듈을 포인트 클라우드 분류 및 분할 파이프라인에 통합하여, 특징 집계 및 다중 스케일 처리를 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 유클리드 공간과 고유값 공간에서의 특징 공동 집계가 3D 포인트 클라우드 분석에서 기하학적 변환에 대한 강건성을 향상시키는가?
• RQ2 구조 텐서 기반 고유값 그래프를 사용해 국소 기하학적으로 유사한 먼 점들을 효과적으로 그룹화할 수 있는가? 이는 전반적인 맥락 포착에 기여하는가?
• RQ3 국소 구조 텐서의 고유값과 고유벡터를 사용하면 회전과 이동에 대해 불변성이 확보되는가?
• RQ4 국소 및 전반적인 기하학적 정보를 통합한 GSC 모듈이 3D 포인트 클라우드 작업에서 기존의 국소 이웃 컨벌루션보다 우수한 성능을 내는가?
• RQ5 GS-Net은 ModelNet40 및 ShapeNet Part와 같은 표준 벤치마크에서 성능과 강건성을 어느 정도 향상시키는가?

주요 결과

• GS-Net은 ModelNet40 벤치마크에서 93.3%의 분류 정확도를 달성하여 새로운 최고 기록을 수립한다.
• 고유값 그래프 이웃의 불변성 덕분에 기하학적 변환(예: 회전 및 이동)에 대해 뛰어난 강건성을 보인다.
• 제거 실험 결과, 유클리드 공간과 고유값 공간에서의 특징를 결합한 조합이 가장 높은 정확도(92.9%)를 기록하며, 단일 공간 집계보다 우수한 성능을 보였다.
• 입력 특징에 유클리드 거리와 고유값 차이를 추가하면 정확도가 92.9%로 향상되나, 고유벡터 특징은 성능을 저하시킨다.
• GS-Net은 경쟁적인 추론 속도(126ms 프로퍼타임)와 모델 크기(6.0MB)를 확보하여 기존 방법 대비 높은 파라미터 효율성을 보였다.
• 시각화 결과, 녹색 점들(고유값 공간에서의 이웃)은 유클리드 공간에서 멀리 떨어져 있어도 기저 점과 기하학적으로 유사한 것으로 확인되었다.