[논문 리뷰] SO-Net: Self-Organizing Network for Point Cloud Analysis

Jiaxin Li, Ben M. Chen외 1명|arXiv (Cornell University)|2018. 03. 12.

3D Shape Modeling and Analysis참고 문헌 18인용 수 96

한 줄 요약

SO-Net은 자기조직화 지도(SOM)를 활용하여 계층적 특징 추출을 안내하는 점군에 대해 순열 불변 아키텍처를 도입하고, 더 빠른 학습으로 경쟁력 있는 정확도를 달성한다.

ABSTRACT

This paper presents SO-Net, a permutation invariant architecture for deep learning with orderless point clouds. The SO-Net models the spatial distribution of point cloud by building a Self-Organizing Map (SOM). Based on the SOM, SO-Net performs hierarchical feature extraction on individual points and SOM nodes, and ultimately represents the input point cloud by a single feature vector. The receptive field of the network can be systematically adjusted by conducting point-to-node k nearest neighbor search. In recognition tasks such as point cloud reconstruction, classification, object part segmentation and shape retrieval, our proposed network demonstrates performance that is similar with or better than state-of-the-art approaches. In addition, the training speed is significantly faster than existing point cloud recognition networks because of the parallelizability and simplicity of the proposed architecture. Our code is available at the project website. https://github.com/lijx10/SO-Net

연구 동기 및 목표

• 비정형 3D 포인트 클라우드에서 효율적이고 permutation-invariant 딥러닝을 고무한다.
• 특징 추출을 안내하기 위해 self-organizing map (SOM)으로 점의 공간 분포를 모델링한다.
• SOM에서 점-노드 kNN을 통해 계층적이고 중첩되는 수용 영역을 가능하게 한다.
• SOM-가이드 인코딩이 분류, 세분화 및 자동인코딩에서 경쟁력 있는 결과를 산출함을 보여준다.
• 최첨단 포인트 클라우드 네트워크에 비해 더 빠른 학습을 시연한다.

제안 방법

• 입력 점 분포를 포착하기 위해 고정 초기 노드를 가진 8x8 SOM을 구축하여 순열 불변성을 보장한다.
• 순열 불변 업데이트를 보장하기 위해 배치 SOM 학습을 수행한다.
• 각 점에 대해 SOM 노드에서 k-최근접 이웃 탐색을 수행하고 이 노드들로 점들을 정규화한다.
• 각 SOM 노드에 부착된 미니 포인트 클라우드를 공유된 완전연결 계층( PointNet과 유사)과 max-pool을 사용하여 인코딩하고 노드 특징을 형성한다.
• 추가 공유 계층을 통해 분류, 재구성 또는 세분화를 위한 글로벌 특징 벡터로 노드 특징을 집계한다.
• Chamfer 손실로 감독되는 두 가지 가지 브랜치 아키텍처(fully connected와 up-convolution)를 사용한 포인트 클라우드 자동인코딩을 위해 인코더를 확장한다.

실험 결과

연구 질문

• RQ1 순열 불변 네트워크가 포인트 클라우드의 공간 분포를 효과적으로 모델링할 수 있는가?
• RQ2 Self-organizing map이 점군의 수용영역 겹침을 제어 가능하게 하고 로컬 특징 통합을 향상시킬 수 있는가?
• RQ3 SO-Net이 분류, 세분화, 재구성 작업에서 경쟁력 있는 성능을 달성하면서 더 빠른 학습 시간을 제공할 수 있는가?
• RQ4 포인트 클라우드 자동인코더로의 사전 학습이 다운스트림 작업을 향상시키는가?
• RQ5 SOM 크기 및 점/ SOM 교란에 대한 SO-Net의 강건성은 어느 정도인가?

주요 결과

• SO-Net은 포인트 클라우드 분류 및 모양 검색 작업에서 경쟁력 있는 성능을 달성했으며, 보고된 실험에서 여러 베이스라인보다 개선을 보였다.
• 제안된 autoencoder를 통한 사전 학습은 ModelNet10 분류에서 약 0.5% 상대 이득의 미미한 향상을 제공하고 ModelNet40에서는 더 작은 이득을 준다.
• 학습 시간은 상당히 빠르며(예: GTX-1080Ti로 ModelNet40을 학습하는 데 약 3시간 정도) 최첨단 방법과 비교해 크게 빠르다.
• SO-Net은 일부 SOM 및 점 교란에 대해 강건성을 보이며 중간 수준의 SOM 노이즈와 입력 손상에서도 정확성을 유지한다.
• 계층적 계층 수를 늘리는 것은 ModelNet40/ModelNet10에서 추가적인 정확도 상승을 가져오지만, 지나친 깊이는 과적합으로 이어질 수 있다.