[논문 리뷰] Point Clouds Learning with Attention-based Graph Convolution Networks

Zhuyang Xie, Junzhou Chen외 1명|arXiv (Cornell University)|2019. 05. 31.

3D Shape Modeling and Analysis참고 문헌 32인용 수 6

한 줄 요약

이 논문은 KNN 그래프 위에서 주목성 메커니즘을 활용하여 점군 내 국소 기하 관계를 모델링하는 새로운 아키텍처인 주목성 기반 그래프 컨볼루션 네트워크(AGCN)를 제안한다. 이는 국소에서 전반으로의 특징 학습을 효과적으로 가능하게 한다. 제안된 방법은 점군 분류 및 분할 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, ModelNet40에서 92.61%의 정확도를 기록하고 이전 방법보다 향상된 특징 집합을 제공한다.

ABSTRACT

Point clouds data, as one kind of representation of 3D objects, are the most primitive output obtained by 3D sensors. Unlike 2D images, point clouds are disordered and unstructured. Hence it is not straightforward to apply classification techniques such as the convolution neural network to point clouds analysis directly. To solve this problem, we propose a novel network structure, named Attention-based Graph Convolution Networks (AGCN), to extract point clouds features. Taking the learning process as a message propagation between adjacent points, we introduce an attention mechanism to AGCN for analyzing the relationships between local features of the points. In addition, we introduce an additional global graph structure network to compensate for the relative information of the individual points in the graph structure network. The proposed network is also extended to an encoder-decoder structure for segmentation tasks. Experimental results show that the proposed network can achieve state-of-the-art performance in both classification and segmentation tasks.

연구 동기 및 목표

• 딥 러닝을 활용해 순서가 없고 비정형적인 3D 점군 데이터를 처리하는 데 도전하는 것.
• 이웃하는 점들 간의 기하 관계를 모델링하여 국소 특징 표현을 향상시키는 것.
• 상대적 공간 정보를 보완하기 위해 전반적 점 그래프를 통합하여 전반적 특징 학습을 향상시키는 것.
• 세분화와 같은 조밀한 예측 작업을 위해 인코더-디코더 구조로 아키텍처를 확장하는 것.
• 기본 3D 점군 데이터셋에서 분류 및 분할 작업에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 각 점 주변의 희소 샘플링을 통해 국소 기하를 캡처하는 국소 점 집합을 구성한다.
• 샘플된 노드 위에 KNN 그래프를 구축하여 국소 구조 간의 관계를 모델링한다.
• 주목성 점수를 오직 K개의 가장 가까운 이웃에 대해서만 계산하는 점 주목성 레이어를 설계하여 순열 불변성과 계산 효율성을 확보한다.
• 상대적 공간 위치를 인코딩하고 그래프 네트워크 내 특징 표현을 향상시키기 위해 전반적 점 그래프를 도입한다.
• 국소에서 전반적 수준으로 특징을 점진적으로 집계하기 위해 다중 점 주목성 레이어를 스택한다.
• 점군 분할을 위해 스킵 연결을 갖춘 인코더-디코더 프레임워크로 아키텍처를 확장한다.

실험 결과

연구 질문

• RQ1 주목성 메커니즘이 비정형 점군 내 국소 기하 관계를 효과적으로 모델링할 수 있는가?
• RQ2 전반적 점 그래프를 통합할 경우 그래프 기반 점군 네트워크의 특징 표현이 어떻게 향상되는가?
• RQ3 제안된 주목성 기반 그래프 컨볼루션 네트워크가 표준 3D 점군 분류 및 분할 벤치마크에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 입력 점 수를 감소시킬 경우 네트워크가 안정성과 효율성을 유지하는 정도는 어느 정도인가?
• RQ5 주목성 메커니즘이 학습된 표현에서 특징 군집화와 공간 일관성을 얼마나 향상시키는가?

주요 결과

• AGCN는 ModelNet40 분류 벤치마크에서 92.61%의 정확도를 기록하였으며, 전반적 점 그래프 없이 사용한 베이스라인 대비 2.07%p 높은 성능을 보였다.
• 입력 점 수가 32개일 경우에도 87.82%의 정확도를 유지하여 저밀도 입력에 대한 강건성을 입증하였다.
• 전반적 점 그래프의 포함으로 분류 정확도가 약 2% 향상되어 상대적 공간 정보를 캡처하는 데 효과적임을 확인하였다.
• 더 많은 파라미터를 가짐에도 불구하고, PointNet++ 대비 더 빠른 학습 및 추론 시간(배치당 0.076s/0.033s)을 기록하였다.
• 시각화 결과는 특징 맵이 레이어를 거치며 점점 더 군집화됨을 보여주어 효과적인 국소-전반적 특징 집합을 확인하였다.
• 첫 번째 레이어의 커널은 선과 평면과 같은 의미 있는 국소 패턴을 학습하였으며, 모델이 기하 구조를 캡처할 수 있음을 확인하였다.