[논문 리뷰] Spatial Transformer for 3D Points.

Jiayun Wang, Rudrasis Chakraborty외 1명|arXiv (Cornell University)|2019. 06. 26.

3D Shape Modeling and Analysis참고 문헌 27인용 수 7

한 줄 요약

이 논문은 3D 포인트 클라우드용 공간 변환기 모듈을 제안하며, 각 네트워크 레이어에서 비정적 변환—선형(애피니티) 및 비선형(투영/변형 가능)—을 학습하여 국소 이웃 영역을 적응적으로 재구성한다. 동적 포인트 좌표 변환을 학습함으로써 특징 학습을 향상시키고, 3D 포인트 클라우드 분류, 세분화 및 탐지 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point cloud is an efficient representation of 3D data, and enables deep neural networks to effectively understand and model the 3D visual world. Previous point cloud processing networks utilized the same original 3D point coordinates at different layers to define local neighborhoods. The networks then learn the feature maps from local patches. It is easy to implement but not necessarily optimal. Ideally local neighborhood should be different at different layers so as to adapt to the specific layer for efficient feature learning. One way to achieve this is to learn transformations of the original point cloud at each layer, and then learn the feature maps from the ``local patches'' on the transformed coordinates. In this work, we propose a novel approach to learn non-rigid transformation of input point clouds at each layer. We propose both linear (affine) and non-linear (projective, deformable) spatial transformer on 3D point cloud. The proposed method outperforms the state-of-the-art static point neighborhood counterparts in several point cloud processing tasks (classification, segmentation and detection).

연구 동기 및 목표

• 고정된 정적 국소 이웃 영역이 3D 포인트 클라우드 네트워크의 최적 특징 학습을 방해하는 한계를 해결하기 위해.
• 입력 포인트 좌표를 동적으로 변환함으로써 딥 네트워크가 레이어별로 적응적인 국소 수신 영역을 학습하도록 하기 위해.
• 학습된 공간 변환을 통해 3D 시각 작업인 분류, 세분화 및 탐지에서 성능 향상을 이루기 위해.
• 3D 포인트 클라우드에 맞게 조정된 선형(애피니티) 및 비선형(투영, 변형 가능) 변환 모듈을 도입하기 위해.
• 학습된 공간 변환이 3D 포인트 클라우드 처리에서 정적 이웃 정의보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 각 네트워크 레이어에서 3D 공간 내 각 포인트 또는 국소 영역에 대해 변환 행렬을 학습하는 공간 변환기 모듈을 제안한다.
• 입력 포인트 좌표에 대해 미분 가능 공간 변환을 적용하여 변환 네트워크의 엔드 투 엔드 훈련을 가능하게 한다.
• 복잡한 공간 변형을 모델링하기 위해 애피니티 및 비선형(투영 및 변형 가능) 변환 구성 요소를 도입한다.
• 변환된 좌표를 사용해 동적 국소 이웃 영역을 정의하고, 이를 표준 3D 합성곱 또는 어텐션 메커니즘을 통해 특징을 추출하는 데 사용한다.
• 기울기 흐름을 보장하기 위해 미분 가능 샘플링 및 특징 집계 메커니즘을 활용한다.
• 고정된 이웃 정의를 대체하기 위해 공간 변환기를 3D 딥 러닝 아키텍처 내에서 학습 가능한 모듈로 통합한다.

실험 결과

연구 질문

• RQ1 고정된 국소 이웃 영역에 비해 동적이고 레이어별 공간 변환을 학습하는 것이 3D 포인트 클라우드 특징 학습을 향상시킬 수 있는가?
• RQ2 3D 포인트 클라우드 작업에서 애피니티 및 비선형(투영/변형 가능) 변환 간 성능는 어떻게 비교되는가?
• RQ3 제안된 공간 변환기 모듈은 분류, 세분화 및 탐지와 같은 다양한 3D 인식 작업에 일반화되는가?
• RQ4 국소 이웃 영역의 적응적 재구성이 표준 벤치마크에서 모델 성능 향상에 어느 정도 기여하는가?
• RQ5 공간 변환기는 미분 가능성과 계산 효율성을 유지하면서도 효과적으로 엔드 투 엔드로 훈련될 수 있는가?

주요 결과

• 제안된 공간 변환기는 3D 포인트 클라우드 분류, 세분화 및 탐지 작업에서 정적 국소 이웃 영역에 의존하는 최신 기술 수준의 방법보다 뛰어난 성능을 보였다.
• 비선형 변환(투영 및 변형 가능)을 사용할 경우 애피니티 및 정적 베이스라인 방법에 비해 성능 향상이 뚜렷하게 나타났다.
• 좌표 변환을 통한 레이어별로 적응적인 국소 이웃 영역을 학습함으로써 특징 표현이 향상되었다.
• 다양한 3D 비전 벤치마크에서 일관된 성능 향상이 나타나 강력한 일반화 능력을 보였다.
• 공간 변환기의 미분 가능성 덕분에 안정적인 기울기와 효과적인 최적화를 보장하는 엔드 투 엔드 훈련이 가능했다.