[논문 리뷰] VA-GCN: A Vector Attention Graph Convolution Network for learning on Point Clouds

Haotian Hu, Fanyi Wang외 1명|arXiv (Cornell University)|2021. 06. 01.

3D Shape Modeling and Analysis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 점군 학습을 위한 새로운 그래프 컨볼루션 네트워크인 VA-GCN을 제안한다. 이는 중심점과 이웃 점들 간의 고도각과 방위각을 사용하여 국소 기하학적 관계를 명시적으로 모델링하는 Vector Attention Convolution (VAConv) 모듈을 도입한다. 고차원 엣지 특징과 저차원 기하학적 어텐션을 융합하고, 다중 척도 VAConv 모듈을 스택하여 VA-GCN은 최신 기준 성능을 달성하였으며, ModelNet40에서 정확도를 2.4% 향상시키고, S3DIS 및 ShapeNet 벤치마크에서 새로운 최고 성능을 기록하였다.

ABSTRACT

Owing to the development of research on local aggregation operators, dramatic breakthrough has been made in point cloud analysis models. However, existing local aggregation operators in the current literature fail to attach decent importance to the local information of the point cloud, which limits the power of the models. To fit this gap, we propose an efficient Vector Attention Convolution module (VAConv), which utilizes K-Nearest Neighbor (KNN) to extract the neighbor points of each input point, and then uses the elevation and azimuth relationship of the vectors between the center point and its neighbors to construct an attention weight matrix for edge features. Afterwards, the VAConv adopts a dual-channel structure to fuse weighted edge features and global features. To verify the efficiency of the VAConv, we connect the VAConvs with different receptive fields in parallel to obtain a Multi-scale graph convolutional network, VA-GCN. The proposed VA-GCN achieves state-of-the-art performance on standard benchmarks including ModelNet40, S3DIS and ShapeNet. Remarkably, on the ModelNet40 dataset for 3D classification, VA-GCN increased by 2.4% compared to the baseline.

연구 동기 및 목표

• 기존의 국소 집약 연산자들이 점군 모델에서 국소 기하학적 정보를 충분히 캡처하고 가중치를 부여하지 못하는 한계를 해결하기 위해.
• 특징 표현을 향상시키기 위해 점과 그 이웃 간의 방향성 및 각도 관계를 명시적으로 모델링하는 메커니즘을 개발하기 위해.
• 고차원 엣지 특징과 저차원 기하학적 구조를 융합하는 다중 척도 이중 채널 아키텍처를 설계하여 더 бог enriched된 특징 학습을 가능하게 하기 위해.
• 분류, 세그멘테이션, 파트 세그멘테이션 작업을 위한 표준 3D 점군 벤치마크인 ModelNet40, S3DIS, ShapeNet에서 최고 성능을 달성하기 위해.

제안 방법

• VAConv는 각 입력 점의 이웃 점을 K-Nearest Neighbor (KNN)를 사용하여 식별하여 국소 이웃 구조를 표현하는 유도 그래프를 형성한다.
• 중심 점과 이웃 점들 간의 상대 벡터에서 고도각과 방위각을 계산하여 엣지 특징에 대한 학습 가능한 어텐션 가중치 행렬을 구성한다.
• 이 모듈은 이중 채널 구조를 사용한다: 한 쪽 경로는 가중치가 부여된 엣지 특징을 VAConv를 통해 처리하고, 다른 쪽 경로는 글로벌 특징과 상대 기하학적 정보를 융합한다.
• VA-GCN 아키텍처는 다양한 수신장이 있는 병렬로 VAConv 모듈을 스택하여 다중 척도 국소 구조를 캡처한다.
• 네트워크는 이중 경로 설계를 통해 EdgeConv와 VAConv를 통합하여 기하학적 토폴로지와 의미적 엣지 특징을 함께 학습할 수 있도록 한다.
• 테스트 단계에서 Multi-Sample Inference (MSI)를 적용하여 ModelNet40에서 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델에서 점군의 국소 기하학적 관계를 특징 표현을 향상시키기 위해 어떻게 명시적으로 모델링할 수 있는가?
• RQ2 어떤 영향을 미치는가? 방향성 벡터 정보(고도각과 방위각)를 어텐션 메커니즘에 통합하여 엣지 특징의 가중치를 조정할 경우?
• RQ3 고차원 엣지 특징과 저차원 기하학적 구조를 융합하는 이중 채널 아키텍처가 점군 작업 성능 향상에 기여하는가?
• RQ4 다른 수신장을 가진 병렬 VAConv 모듈을 사용한 다중 척도 집약이 모델 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 Multi-Sample Inference (MSI) 전략이 점군 분류 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• VA-GCN은 ModelNet40에서 총 정확도 93.5%를 기록하여 기준 모델 대비 2.4% 향상되었고, 새로운 최고 성능 기록을 세웠다.
• 실내 세그멘테이션을 위한 S3DIS 데이터셋에서 VA-GCN은 56.9%의 mIoU를 달성하여 이전 최고 성능보다 0.8% 향상되었다.
• ShapeNet에서 3D 파트 세그멘테이션 작업에서 VA-GCN은 85.5%의 인스턴스 mIoU와 82.6%의 클래스 mIoU를 기록하여 DGCNN을 0.3% 초월하였다.
• 절단 실험 결과 이중 채널 구조는 단일 채널 버전 대비 정확도를 0.7% 향상시키며, 병렬 다중 척도 VAConv 설계는 단일 경로 구성 대비 성능을 0.9% 향상시켰다.
• 제안된 Multi-Sample Inference (MSI) 전략은 ModelNet40 결과를 추가로 향상시켜 지금까지 보고된 바 중 최고 성능을 달성하였다.