[논문 리뷰] SAWNet: A Spatially Aware Deep Neural Network for 3D Point Cloud Processing

Chaitanya Kaul, Nick Pears외 1명|arXiv (Cornell University)|2019. 05. 18.

3D Shape Modeling and Analysis참고 문헌 31인용 수 10

한 줄 요약

SAWNet는 전역 및 국소 기하 특징을 융합하는 새로운 SAW 레이어를 사용하여 3D 포인트 클라우드에서 전역 및 국소 기하 특징을 융합하는 공간 인식 딥 신경망이다. 잔차 연결을 통해 안정적인 훈련을 가능하게 하며, ModelNet40에서 최고 성능(89.7% top-1 정확도)을 기록하고, ShapeNet part 및 ScanNet 분할 벤치마크에서 경쟁력 있는 결과를 보이며 포인트 드롭아웃에 대한 강건성을 입증한다.

ABSTRACT

Deep neural networks have established themselves as the state-of-the-art methodology in almost all computer vision tasks to date. But their application to processing data lying on non-Euclidean domains is still a very active area of research. One such area is the analysis of point cloud data which poses a challenge due to its lack of order. Many recent techniques have been proposed, spearheaded by the PointNet architecture. These techniques use either global or local information from the point clouds to extract a latent representation for the points, which is then used for the task at hand (classification/segmentation). In our work, we introduce a neural network layer that combines both global and local information to produce better embeddings of these points. We enhance our architecture with residual connections, to pass information between the layers, which also makes the network easier to train. We achieve state-of-the-art results on the ModelNet40 dataset with our architecture, and our results are also highly competitive with the state-of-the-art on the ShapeNet part segmentation dataset and the indoor scene segmentation dataset. We plan to open source our pre-trained models on github to encourage the research community to test our networks on their data, or simply use them for benchmarking purposes.

연구 동기 및 목표

• 비순서적이고 비유클리드인 3D 포인트 클라우드 데이터를 효율적으로 처리하는 데 도전하는 것.
• 전역적 맥락과 국소 기하 구조를 융합하여 포인트 클라우드 표현 학습을 향상시키는 것.
• 공간 인식 아키텍처에서 잔차 연결을 통해 훈련 안정성과 특징 학습을 향상시키는 것.
• 최소한의 하이퍼파rameter 튜닝으로도 분류 및 분할 작업에서 뛰어난 성능을 달성하는 것.

제안 방법

• 공유된 다층 퍼셉트론(MLP)을 통한 전역 포인트 클라우드 임베딩과 다이나믹 그래프 CNN(DGCNN)를 활용한 국소 이웃 특징을 동시에 인코딩하는 SAW 레이어를 제안한다.
• 특징 흐름을 레이어 간에 유지하기 위해 병합(concatenation)과 잔차 식별 매핑을 통해 전역 및 국소 표현을 융합한다.
• 입력 포인트 클라우드의 정렬을 위해 학습 가능한 3×3 변환 행렬을 사용하는 공간 변환기 모듈을 도입한다.
• 전역 특징 집약을 위해 최대 풀링을 사용하고, 최종 분류 또는 포인트별 분할을 위해 3층의 MLP를 사용한다.
• 레이어 간 뿐만 아니라 레이어 내부에도 잔차 연결을 적용하여 기울기 흐름을 안정화하고 최적화를 향상시킨다.
• 분류 및 분할 작업을 위해 교차 엔트로피 손실을 사용하는 표준 백프로파게이션을 통해 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 단일 레이어에서 전역 및 국소 기하 특징을 융합하는 것이 3D 포인트 클라우드 표현 학습에 향상되는가?
• RQ2 잔차 학습은 포인트 클라우드 네트워크의 성능과 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 아키텍처는 포인트 클라우드의 희박성 또는 무작위 포인트 드롭아웃에 얼마나 강건한가?
• RQ4 공간 변환기는 다양한 포인트 클라우드 방향에 걸쳐 정렬 및 일반화를 향상시키는가?
• RQ5 표준 3D 포인트 클라우드 벤치마크에서 SAWNet 아키텍처는 최신 기술 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• SAWNet은 ModelNet40 데이터셋에서 89.7%의 top-1 정확도를 기록하여 새로운 최고 성능 기록을 수립한다.
• ShapeNet part 분할 데이터셋에서 SAWNet은 평균 교차율(mIoU) 84.8%를 달성하여 최고 성능와 0.3점 이내로 근접한다.
• 128개의 포인트만으로도 86.1%의 정확도를 유지하며, DGCNN보다 384개 포인트 이하에서 상당한 성능 저하 없이 뛰어난 성능을 보인다.
• 시각화 결과는 다양한 물체 카테고리, 특히 '이어폰'이나 '소총'과 같은 도전적인 카테고리에서도 일관되고 정확한 부분 분할을 보여준다.
• 무작위 포인트 드롭아웃에 대해 강건성을 보이며, 가림 또는 희박한 샘플링 조건에서도 강력한 일반화 능력을 보인다.
• 제거 분석(ablation study)은 SAW 레이어를 통한 전역 및 국소 특징 융합이 베이스라인 대비 성능 향상에 크게 기여함을 확인한다.