[논문 리뷰] SpiderCNN: Deep Learning on Point Sets with Parameterized Convolutional Filters

Yifan Xu, Tianqi Fan외 3명|arXiv (Cornell University)|2018. 03. 30.

3D Shape Modeling and Analysis참고 문헌 19인용 수 76

한 줄 요약

SpiderCNN은 단계와 테일러 구성요소를 결합한 매개변수화 필터를 사용하는 포인트 셋 합성곱인 SpiderConv를 도입하여 불규칙한 3D 포인트 클라우드에서 학습하고 ModelNet40에서 최첨단 성능을 달성한다.

ABSTRACT

Deep neural networks have enjoyed remarkable success for various vision tasks, however it remains challenging to apply CNNs to domains lacking a regular underlying structures such as 3D point clouds. Towards this we propose a novel convolutional architecture, termed SpiderCNN, to efficiently extract geometric features from point clouds. SpiderCNN is comprised of units called SpiderConv, which extend convolutional operations from regular grids to irregular point sets that can be embedded in R^n, by parametrizing a family of convolutional filters. We design the filter as a product of a simple step function that captures local geodesic information and a Taylor polynomial that ensures the expressiveness. SpiderCNN inherits the multi-scale hierarchical architecture from classical CNNs, which allows it to extract semantic deep features. Experiments on ModelNet40 demonstrate that SpiderCNN achieves state-of-the-art accuracy 92.4% on standard benchmarks, and shows competitive performance on segmentation task.

연구 동기 및 목표

• 보셀화(voxelization)나 미리 정의된 격자 없이 불규칙한 3D 포인트 클라우드에서 직접 딥러닝을 추진한다.
• 학습 가능한 필드를 갖는 R^n의 포인트 세트에 대한 합성곱 연산자로 SpiderConv를 제안한다.
• 다층 SpiderCNN이 3D 분류 및 분할 작업에서 높은 정확도에 도달할 수 있음을 Demonstrate한다.
• 단계 기반의 지오데식 정보와 테일러 전개의 결합이 표현력이 풍부한 필터를 낳는다는 것을 Show한다.
• ModelNet40과 ShapeNet-Part에서 최첨단 방법들과 비교하여 효과를 확립한다.

제안 방법

• 각 점을 중심으로 구면 내에 지지되는 필터 g_w를 가진 포인트 세트에 대한 합성곱으로 SpiderConv를 정의한다.
• g_w를 Step 기반 성분 g^Step와 Taylor 기반 성분 g^Taylor의 곱으로 구성한다 (g_w = g^Step_w^S * g^Taylor_w^T).
• 지역성을 정의하고 효율성을 위해 Step를 선형 매핑으로 근사하기 위해 K-최근접 이웃(KNN) 스킴을 사용한다.
• 로컬 기하를 포착하기 위해 차수 3의 테일러 전개로 g^Taylor를 매개변수화한다(예: x^3, y^3, z^3 및 교차 항까지의 항).
• 역전파를 포함한 SGD로 필터 w를 학습하고, F ∗ g_w(p)를 학습된 가중치를 가진 이웃들의 합으로 계산한다.
• 다채널, 다층 SpiderCNN과 top-k 풀링을 채택하여 분류를 위한 전역 특성과 분할을 위한 포인트별 특성을 형성한다.

실험 결과

연구 질문

• RQ1 보셀화 없이도 SpiderConv가 불규칙한 포인트 클라우드로 합성곱을 충분히 일반화할 수 있는가?
• RQ2 단계/지오데식 정보와 테일러 전개의 매개변수화 필드가 3D 기하학적 특징에 충분한 표현력을 제공하는가?
• RQ3 분류 및 분할에 대한 표준 3D 벤치마크에서 SpiderCNN은 이전 방법들과 비교하여 어떤 성능을 보이는가?
• RQ4 ModelNet40과 ShapeNet-Part에서 어떤 아키텍처 선택(K in KNN, 테일러 항의 수, 풀링 전략)이 성능을 최대화하는가?

주요 결과

Method	Input	Accuracy
Subvolume [16]	voxels	89.2
VRN Single [2]	voxels	91.3
OctNet [18]	hybrid grid octree	86.5
ECC [20]	graphs	87.4
Kd-Network [9] (depth 15)	1024 points	91.8
PointNet [15]	1024 points	89.2
PointNet++ [17]	5000 points+normal	91.9
SpiderCNN + PointNet	1024 points+normal	92.2
SpiderCNN (4-layer)	1024 points+normal	92.4
Ablative: max-pooling variant	-	92.0

• 4-layer 아키텍처를 갖춘 SpiderCNN은 1024 포인트와 노말 정보를 사용할 때 ModelNet40에서 92.4% 정확도를 달성한다.
• SpiderCNN+PointNet은 ModelNet40에서 92.2%를 달성하여 두 방법 각각보다 우수한 성능을 보인다.
• SHREC15에서 SpiderCNN(4-layer)은 95.8% 정확도에 도달하여 여러 baselines를 능가한다.
• ShapeNet-Part 분할에서 SpiderCNN은 16 개 카테고리 전반에서 평균 IoU 85.24%를 달성하여 강력한 baselines와 경쟁한다.
• Top-2 풀링은 max-pooling보다 더 많은 기하학적 디테일을 보존하여 정확도 상승에 기여한다(4-layer SpiderCNN에서 92.4% 대 92.0%).
• 실험 결과, Taylor+Step 필터 설계가 MLP 기반 필터보다 성능이 더 우수하며(다양한 MLP 구성보다 Taylor가 우수).