[논문 리뷰] Interpolated Convolutional Networks for 3D Point Cloud Understanding

Jiageng Mao, Xiaogang Wang외 1명|arXiv (Cornell University)|2019. 08. 13.

3D Shape Modeling and Analysis참고 문헌 49인용 수 30

한 줄 요약

이 논문은 3D 컨볼루션 신경망이 정렬되지 않은 불규칙하고 희박한 점군을 직접 처리할 수 있도록 보간 함수를 사용해 특징을 이산적 커널 가중치 좌표로 보간하는 새로운 보간 컨볼루션 연산인 InterpConv를 제안한다. 이 방법은 계산 효율성을 유지하면서도 희박성과 순열에 대한 불변성을 향상시켜 ModelNet40, ShapeNet Parts, S3DIS 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Point cloud is an important type of 3D representation. However, directly applying convolutions on point clouds is challenging due to the sparse, irregular and unordered data structure. In this paper, we propose a novel Interpolated Convolution operation, InterpConv, to tackle the point cloud feature learning and understanding problem. The key idea is to utilize a set of discrete kernel weights and interpolate point features to neighboring kernel-weight coordinates by an interpolation function for convolution. A normalization term is introduced to handle neighborhoods of different sparsity levels. Our InterpConv is shown to be permutation and sparsity invariant, and can directly handle irregular inputs. We further design Interpolated Convolutional Neural Networks (InterpCNNs) based on InterpConv layers to handle point cloud recognition tasks including shape classification, object part segmentation and indoor scene semantic parsing. Experiments show that the networks can capture both fine-grained local structures and global shape context information effectively. The proposed approach achieves state-of-the-art performance on public benchmarks including ModelNet40, ShapeNet Parts and S3DIS.

연구 동기 및 목표

• 정렬되지 않은 불규칙하고 희박한 3D 점군에 표준 컨볼루션을 적용하는 데 도전하는 것.
• 바이얼 기반 3D 컨볼루션의 한계(정보 손실, 높은 계산 비용)와 그래프 기반 방법의 한계(희박성 민감성, 불안정한 커널 학습)를 극복하는 것.
• 점군 특징과 이산적 커널 가중치 사이의 미분 가능하고 명시적인 기하관계 모델링 메커니즘을 설계하는 것.
• InterpConv를 활용해 3D 인식 및 분할 작업을 위한 새로운 신경망 아키텍처인 InterpCNN을 개발하는 것.
• 효율성과 불변성을 유지하면서도 표준 3D 점군 벤치마크에서 최신 기술 수준 성능을 달성하는 것.

제안 방법

• InterpConv는 고정된 3D 좌표를 가진 공간적으로 이산적 커널 가중치를 사용하고, 입력 점군 특징을 이웃하는 커널 가중치 위치로 보간 함수(예: 삼선형 또는 가우시안)를 적용한다.
• 희박성 불변성을 확보하기 위해 이웃 점의 수 또는 보간 가중치의 합을 기반으로 정규화 항을 도입한다.
• 그래프 기반 방법에서 MLP가 학습하는 연속적 커널 함수가 필요 없도록 보간을 통해 기하관계를 명시적으로 모델링한다.
• 지역 기하 구조의 세부 정보와 전반적인 형태의 맥락을 모두 포착하기 위해 다층, 다수의 수신장 영역을 가진 InterpConv 블록을 사용해 InterpCNN을 구성한다.
• 커널 가중치는 3D 공간에서 고정되어 있으며, 특징 보간은 미분 가능하므로 엔드 투 엔드 학습이 가능하다.
• 래스터라이제이션 또는 그래프 구축 없이 직접 불규칙한 입력을 처리하여 기하학적 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 보간 기반 특징 집합을 사용하는 이산적 컨볼루션 연산이 불규칙한 점군에서 연속적 커널 기반 그래프 네트워크보다 우수한 성능을 낼 수 있는가?
• RQ2 희박성과 순열에 대해 불변이면서도 기하학적 구조를 유지하는 컨볼루션 레이어는 어떻게 설계할 수 있는가?
• RQ3 명시적 커널 좌표를 가진 보간 기반 특징 집합이 볼륨화나 그래프 기반 방법보다 더 우수한 성능을 낼 수 있는가?
• RQ4 분류 및 분할 작업에서 국소 세부 정보와 전반적 맥락을 균형 있게 포착하기 위해 어떤 보간 함수(삼선형 대비 가우시안)가 가장 적합한가?
• RQ5 커널 크기와 길이는 점군 이해에서 성능과 모델 효율성에 어떤 영향을 미치는가?

주요 결과

• InterpCNN은 ModelNet40에서 93.0%의 정확도를 기록하여 PointNet++(90.7%) 및 DGCNN(92.2%)를 초월했으며, 유사하거나 더 적은 파라미터를 사용했다.
• 3×3×3 InterpConv 커널을 사용할 경우 최적의 성능를 달성했고, 더 큰 커널(5×5×5)은 성능 향상 없이 파라미터 수만 증가시켰다.
• 커널 길이 $l$ 는 성능에 상당한 영향을 미치며, 최적 값은 약 0.1–0.4 범위에서 나타나며, 너무 작거나 너무 큰 값은 정확도를 떨어뜨린다.
• 삼선형 보간이 가우시안 보간보다 분할 작업에서 더 뛰어난 성능을 보였는데, 이는 미세한 기하학적 구조를 더 잘 포착하기 때문이다.
• 희박성의 극한 상황에서 보간 가중치 합 기반 정규화가 더 유연한 것으로 나타났지만, 전체적으로 두 정규화 방법 간 성능는 유사했다.