[논문 리뷰] Rotation-Invariant Local-to-Global Representation Learning for 3D Point Cloud

Seohyun Kim, Jaeyoo Park외 1명|arXiv (Cornell University)|2020. 10. 07.

3D Shape Modeling and Analysis참고 문헌 27인용 수 43

한 줄 요약

RI-GCN을 소개하는 논문으로, 회전 불변의 로컬에서 글로벌 그래프 컨볼루션 프레임워크를 통해 3D 포인트 클라우드를 학습하고 회전 데이터 증강 없이 회전에 강건한 특징을 학습하며 회전 증강 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

We propose a local-to-global representation learning algorithm for 3D point cloud data, which is appropriate to handle various geometric transformations, especially rotation, without explicit data augmentation with respect to the transformations. Our model takes advantage of multi-level abstraction based on graph convolutional neural networks, which constructs a descriptor hierarchy to encode rotation-invariant shape information of an input object in a bottom-up manner. The descriptors in each level are obtained from a neural network based on a graph via stochastic sampling of 3D points, which is effective in making the learned representations robust to the variations of input data. The proposed algorithm presents the state-of-the-art performance on the rotation-augmented 3D object recognition and segmentation benchmarks, and we further analyze its characteristics through comprehensive ablative experiments.

연구 동기 및 목표

• 3D 포인트 클라우드에서 대규모 데이터 증강에 의존하지 않고 회전 불변 인식을 유도한다.
• 그래프 컨볼루션에 기반한 로컬-에서-글로벌 표현 학습 프레임워크를 개발하여 회전에 강건하게 한다.
• 표현을 규칙화하기 위해 로컬 기준 프레임과 확률적 이웃 샘플링으로 로컬 디스크립터를 구축한다.
• 더 넓은 수용영역을 확보하기 위해 더 높은 수준의 디스크립터 확장을 통해 계층적 디스크립터를 구축한다.
• 회전 증강 없이도 회전에 최적화된 3D 객체 분류 및 세그먼테이션 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 로컬 이웃에서 PCA로 도출된 로컬 기준 프레임에 투영하여 로컬 회전 불변 디스크립터를 구성한다.
• 임의의 k와 확장(d)으로 확률적 dilated k-NN 탐색을 사용해 이웃을 샘플링하고 디스크립터를 규칙화한다.
• 더 높은 수준에서 더 적은 포인트로 디스크립터 확장을 통해 수용영역을 확장하며 계층적으로 디스크립터를 확장한다.
• 확률적 k-NN 그래프를 이용한 그래프 컨볼루션 네트워크를 적용해 로컬 디스크립터를 컨텍스트 인식 글로벌 표현으로 집계한다.
• 다중 수준의 GCN 출력을 연결하고 최종 객체 분류나 세그먼트화를 위해 맥스풀링을 적용한다.
• 전역 좌표 대신 로컬 기준 프레임에서 작동하여 회전 불변성을 유지한다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드에 대한 회전 불변 특징을 명시적 회전 증강 없이 학습할 수 있는가?
• RQ2 확률적 그래프 샘플링이 있는 로컬-에서-글로벌 표현 계층이 회전 강건성과 정확도를 개선하는가?
• RQ3 로컬 기준 프레임 기반 디스크립터가 회전 및 노이즈 하에서 글로벌 좌표 접근법과 비교하여 어떤 차이를 보이는가?
• RQ4 계층적 수준과 확률적 확장(dilation)이 분류 및 세그먼테이션 성능에 미치는 영향은 무엇인가?

주요 결과

• RI-GCN은 3D 객체 분류 및 세그멘테이션 벤치마크에서 회전 증강을 사용한 경우 최첨단 정확도를 달성한다.
• 확률적 학습(d, k, hat{k})은 결정론적 버전에 비해 z/SO(3) 로버스트니스가 일관되게 향상된다.
• GCN 기반의 집계는 로컬 컨텍스트를 보존하고 회전에 대한 로버스트니스를 개선하는 데 MLP 기반 대안보다 우수하다.
• 로컬 변환 기반(포인트별 LRF) 디스크립터가 회전에 강건한 테스트에서 글로벌 회전 접근법보다 우수하다.
• 계층 수준을 3단계까지 올리면 성능이 향상되나 그 이후에는 수익이 감소한다.
• RI-GCN은 가우시안 노이즈와 이상치에 대해 강건하게 작동하며 회전이 적용된 입력에 일반화된다.