[논문 리뷰] GAPNet: Graph Attention based Point Neural Network for Exploiting Local Feature of Point Cloud

Can Chen, Luca Zanotti Fragonara외 1명|arXiv (Cornell University)|2019. 05. 21.

3D Shape Modeling and Analysis인용 수 40

한 줄 요약

GAPNet은 포인트 클라우드에서 다중-head 그래프 어텐션을 도입하여 로컬 기하학적 특징을 학습하고, ModelNet40 분류와 ShapeNet 부분 세분화에서 최첨단 결과를 달성합니다. 이는 GAPLayer와 어텐션 풀링을 MLP 프레임워크에 통합합니다.

ABSTRACT

Exploiting fine-grained semantic features on point cloud is still challenging due to its irregular and sparse structure in a non-Euclidean space. Among existing studies, PointNet provides an efficient and promising approach to learn shape features directly on unordered 3D point cloud and has achieved competitive performance. However, local feature that is helpful towards better contextual learning is not considered. Meanwhile, attention mechanism shows efficiency in capturing node representation on graph-based data by attending over neighboring nodes. In this paper, we propose a novel neural network for point cloud, dubbed GAPNet, to learn local geometric representations by embedding graph attention mechanism within stacked Multi-Layer-Perceptron (MLP) layers. Firstly, we introduce a GAPLayer to learn attention features for each point by highlighting different attention weights on neighborhood. Secondly, in order to exploit sufficient features, a multi-head mechanism is employed to allow GAPLayer to aggregate different features from independent heads. Thirdly, we propose an attention pooling layer over neighbors to capture local signature aimed at enhancing network robustness. Finally, GAPNet applies stacked MLP layers to attention features and local signature to fully extract local geometric structures. The proposed GAPNet architecture is tested on the ModelNet40 and ShapeNet part datasets, and achieves state-of-the-art performance in both shape classification and part segmentation tasks.

연구 동기 및 목표

• 비정규 포인트 클라우드에서 미세한 로컬 특징을 활용하는 문제에 동기를 부여하고 해결합니다.
• k-NN 그래프 위에서 자기 주의와 이웃 주의를 사용하는 GAPLayer를 포함한 GAPNet을 제안합니다.
• 로컬 시그니처를 얻고 견고성을 향상시키기 위한 어텐션 풀링 계층을 도입합니다.
• 향상된 로컬 기하학적 특징 추출을 위해 GAPLayer와 풀링을 다중 스트랙 MLP에 통합합니다.
• ShapeNet 부품 분할 및 ModelNet40의 형상 분류에서 최첨단 성능을 시연합니다.

제안 방법

• 각 점에 대한 로컬 구조를 모델링하기 위해 방향성 k-NN 그래프를 구성합니다.
• LeakyReLU 융합과 소프트맥스 정규화를 사용하여 단일 헤드 GAPLayer를 통해 자기- 및 로컬 주의 계수를 계산합니다.
• 주목받은 이웃 특징을 집계하여 어텐션 특징를 형성합니다.
• M개의 헤드에서 출력을 연결(concatenate)하여 다중 헤드 GAPLayer로 확장합니다.
• 이웃 특징에 대해 어텐션 풀링 계층을 적용하여 로컬 시그니처를 얻습니다.
• 분류 및 세분화 작업을 위한 공유된 MLP를 갖는 아키텍처에 GAPLayer와 풀링을 통합합니다.

실험 결과

연구 질문

• RQ1 국소 이웃에 대한 그래프 어텐션이 포인트 클라우드에서 분류 및 세분화를 위한 로컬 특징 학습을 향상시킬 수 있는가?
• RQ2 다중 헤드 GAPLayer가 단일 어텐션 헤드보다 다양한 로컬 표현을 더 잘 포착하는가?
• RQ3 어텐션 풀링 계층이 견고성과 성능에 미치는 영향은 무엇인가?
• RQ4 GAPNet이 ModelNet40 및 ShapeNet Part 데이터셋에서 최첨단과 어떻게 비교되는가?

주요 결과

• GAPNet은 ModelNet40 형상 분류에서 최첨단 성능을 달성하고, 보고된 설정에서 DGCNN를 포함한 기존 방법들을 정확도 0.2% 포인트 차이로 능가합니다.
• ShapeNet Part에서 GAPNet은 평균 IoU 및 부품별 정확도 면에서 경쟁력 있는 성능을 보이며 여러 카테고리에서 강한 성능을 나타냅니다.
• 절제 연구에서 어텐션 풀링 계층이 약 0.6%의 정확도를 추가하고, GAPLayer의 학습된 어텐션(상수 계수 대비)이 약 0.7%의 정확도에 기여함을 보입니다.
• 헤드 수와 인코딩 채널을 변화시키면 4개의 헤드와 16채널이 강한 성능을 제공하는 균형을 드러내고, 너무 많은 헤드/채널은 결과를 악화시킬 수 있습니다.