[논문 리뷰] Deep Positional and Relational Feature Learning for Rotation-Invariant Point Cloud Analysis

Ruixuan Yu, Xin Wei외 2명|arXiv (Cornell University)|2020. 11. 18.

3D Shape Modeling and Analysis참고 문헌 41인용 수 4

한 줄 요약

이 논문은 3차원 포인트 클라우드 분석을 위한 회전 불변성 딥 네트워크인 PR-invNet을 제안한다. 이 네트워크는 두 가지 신규 모듈인 위치 특징 임베딩(PFE) 블록과 관계 특징 임베딩(RFE) 블록을 통해 위치 및 관계 특징을 동시에 학습한다. PFE 블록은 도데카헤드론의 교대군 $A_5$를 활용한 포즈 확장기로 회전 불변 포즈 공간을 생성하고, 다중 헤드 스코어 네트워크를 통해 가장 분류 능력이 뛰어난 형태의 포즈를 선택한다. RFE 블록은 관계 인식 컨볼루션을 사용해 특징을 향상시킨다. 이 방법은 ModelNet40과 ShapeNetPart에서 최신 기준 성능을 달성하며, ModelNet40에서 89.2%의 정확도와 PartNet에서 89.5%의 정확도를 기록하여 회전과 노이즈에 대해 뛰어난 내성성을 입증한다.

ABSTRACT

In this paper we propose a rotation-invariant deep network for point clouds analysis. Point-based deep networks are commonly designed to recognize roughly aligned 3D shapes based on point coordinates, but suffer from performance drops with shape rotations. Some geometric features, e.g., distances and angles of points as inputs of network, are rotation-invariant but lose positional information of points. In this work, we propose a novel deep network for point clouds by incorporating positional information of points as inputs while yielding rotation-invariance. The network is hierarchical and relies on two modules: a positional feature embedding block and a relational feature embedding block. Both modules and the whole network are proven to be rotation-invariant when processing point clouds as input. Experiments show state-of-the-art classification and segmentation performances on benchmark datasets, and ablation studies demonstrate effectiveness of the network design.

연구 동기 및 목표

• 원시 좌표에 의존하는 기존의 포인트 기반 딥 네트워크가 임의의 3차원 회전에서 실패하는 회전 민감성 문제를 해결하기 위해.
• 포인트 클라우드의 딥 특징 학습에서 엄격한 회전 불변성을 확보하면서도 분류 능력 있는 위치 정보를 유지하기 위해.
• 더 나은 3차원 형태 인식을 위해 위치 및 관계 특징을 통합한 계층적 네트워크 아키텍처를 설계하기 위해.
• 공간적 맥락을 상실하고 유사한 국소 구조를 구분하지 못하는 기하 특징 중심 접근법의 한계를 극복하기 위해.
• 비용이 많이 드는 데이터 증강을 피하고 노이즈 및 알려지지 않은 회전에서도 잘 일반화되는 확장성 있고 효율적인 회전 불변 네트워크를 개발하기 위해.

제안 방법

• PFE 블록은 도데카헤드론의 교대군 $A_5$를 사용해 포인트 클라우드를 120개의 다양한 포즈로 변환함으로써 회전 불변 포즈 공간을 구성한다.
• 다중 헤드 스코어 네트워크 ($\Psi$)는 다수의 헤드에서의 최대 스코어 기반으로 회전 공간에서 가장 대표적인 포즈를 선택하는 포즈 선택기 역할을 한다.
• 선택된 포즈의 좌표를 바탕으로 위치 특징 추출기로 위치 특징을 추출하여 국소 기하학적 구조의 분류 능력 있는 표현을 보장한다.
• RFE 블록은 세 가지 구성 요소를 사용해 관계 인식 컨볼루션을 적용한다: 상대적 점 위치, 기하 특징(예: 거리, 각도), 점 특징이며, 학습 가능한 가중치를 갖는다.
• PFE 및 RFE 블록을 포함한 모든 네트워크 구성 요소는 SO(3) 군에 대해 수학적으로 회전 불변성을 입증하였다.
• 전체 네트워크인 PR-invNet은 표준 벤치마크를 사용해 분류 및 분할 작업을 위한 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 데이터 증강에 의존하지 않고 원시 포인트 좌표에서부터 회전 불변 특징을 학습할 수 있는가?
• RQ2 3차원 포인트 클라우드 분석에서 임의의 3차원 회전에 대해 불변성을 확보하면서도 위치 정보를 어떻게 유지할 수 있는가?
• RQ3 회전 불변 특징 학습 프레임워크에서 다중 헤드 스코어 네트워크를 사용한 포즈 선택의 영향은 무엇인가?
• RQ4 점의 위치와 기하 관계를 기반으로 한 관계 특징은 기하 특징만을 사용할 때보다 성능 향상에 기여하는가?
• RQ5 제안된 아키텍처는 노이즈와 임의의 회전 조건에서도 얼마나 높은 내성성을 유지하는가?

주요 결과

• PR-invNet은 ModelNet40에서 89.2%의 분류 정확도를 달성하여 z/SO(3) 회전 모드에서 이전 최고 성능 기록을 초월한다.
• 절단 실험 결과, 포즈 선택 기능을 갖춘 전체 PFE 블록은 최대 풀링 또는 평균 풀링을 통한 특징 집계 방식보다 뛰어난 성능을 보이며, GPU 메모리 사용량을 58% 줄이고 실행 시간을 49% 감소시킨다. 이는 88.5%의 정확도를 기록한다.
• 200개의 헤드를 가진 다중 헤드 스코어 네트워크($\Psi$)는 단일 헤드나 다른 헤드 구성보다 더 높은 정확도를 기록하여 향상된 포즈 선택 능력을 입증한다.
• 위치, 기하, 특징의 세 가지 구성 요소를 모두 포함한 RFE 블록이 최고의 성능을 기록하며, 구성 요소 중 하나를 제거하면 정확도가 떨어진다.
• 노이즈 조건에서도 네트워크는 강력한 일반화 능력을 보이며, 가우시안 노이즈(std = 0.01) 조건에서 88.6%의 정확도를 기록한다.
• 시각화 결과, 다중 헤드 스코어 네트워크의 각 헤드가 유사한 기울기를 가진 포즈를 선택하는 것으로 나타나, 네트워크가 의미 있는 포즈 그룹으로 형태를 군집화하는 방식으로 학습하고 있음을 시사한다.