[논문 리뷰] PAI-GCN: Permutable Anisotropic Graph Convolutional Networks for 3D Shape Representation Learning.

Zhongpai Gao, Guangtao Zhai외 3명|arXiv (Cornell University)|2020. 04. 21.

3D Shape Modeling and Analysis인용 수 1

한 줄 요약

이 논문은 불규칙한 메시 그래프에서 적응형 이방성 필터링을 가능하게 하는 학습 가능한, 구조 인지 가중치 행렬을 사용하는 3D 모양 표현 학습을 위한 새로운 그래프 컬러션 네트워크인 PAI-GCN을 제안한다. 국소 기하 구조를 동적으로 모델링함으로써, 순서가 지정되지 않은 불규칙한 3D 메시 데이터에서의 특징 학습을 향상시키며, 3D 모양 복원에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Mesh is a powerful data structure for 3D shapes. Representation learning for 3D meshes is important in many computer vision and graphics applications. The recent success of convolutional neural networks (CNNs) for structured data (e.g., images) suggests the value of adapting insight from CNN for 3D shapes. However, 3D shape data are irregular since each node's neighbors are unordered. Various graph neural networks for 3D shapes have been developed with isotropic filters or predefined local coordinate systems to overcome the node inconsistency on graphs. However, isotropic filters or predefined local coordinate systems limit the representation power. In this paper, we propose a local structure-aware anisotropic convolutional operation (LSA-Conv) that learns adaptive weighting matrices for each node according to the local neighboring structure and performs shared anisotropic filters. In fact, the learnable weighting matrix is similar to the attention matrix in the random synthesizer -- a new Transformer model for natural language processing (NLP). Comprehensive experiments demonstrate that our model produces significant improvement in 3D shape reconstruction compared to state-of-the-art methods.

연구 동기 및 목표

• 3D 메시 그래프 네트워크에서 등방성 필터와 사전 정의된 국소 좌표계의 한계를 해결하기 위해.
• 국소 기하 구조에 맞게 컨볼루션 연산을 적응시킴으로써, 불규칙한 3D 메시 데이터에서 더 표현력 있는 특징 학습을 가능하게 하기 위해.
• 국소 이웃 관계를 동적으로 캡처할 수 있는 학습 가능한 가중치 메커니즘을 개발하여 표현 학습을 향상시키기 위해.
• 고정된 좌표계를 초월하는, 구조 인지적 이방성 컨볼루션을 활용하여 3D 모양 복원 성능을 향상시키기 위해.

제안 방법

• 국소 이웃 구조에 기반한 노드별로 고유한 가중치 행렬을 학습하는 국소 구조 인지 이방성 컨볼루션(LSA-Conv)을 도입한다.
• 학습된 가중치 행렬을 사용해 이웃 특징을 사전에 재가중한 후 공유된 이방성 필터를 적용함으로써, 구조에 따라 달라지는 필터링을 가능하게 한다.
• 가중치 행렬을 주로 어텐션 메커니즘과 유사하게 모델링하여 국소 기하에 기반한 관련 이웃에 대한 동적 집중을 가능하게 한다.
• 특징 재가중 후 공유된 이방성 필터를 적용하여 파rameter 효율성을 유지하면서 표현 능력을 향상시킨다.
• LSA-Conv 연산을 표준 그래프 컬러션 네트워크와 호환되도록 설계하여 3D 메시에서의 엔드 투 엔드 훈련을 가능하게 한다.
• 메시 그래프의 본질적인 불규칙성을 활용하여, 고정된 좌표계에 의존하지 않고 국소 토폴로지에 민감한 컨볼루션 연산을 구현한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 구조 인지 가중치는 불규칙한 3D 메시 데이터에서 그래프 컬러션 네트워크의 표현 능력을 향상시킬 수 있는가?
• RQ2 적응형 이웃 가중치를 갖는 이방성 필터링은 3D 모양 표현에서 등방성 또는 고정 좌표 기반 방법과 비교해 어떻게 성능을 높이는가?
• RQ3 이웃의 동적 재가중이 3D 모양 복원 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 사전 정의된 국소 좌표계 없이 다양한 3D 메시 토폴로지에 일반화되는가?

주요 결과

• PAI-GCN는 최신 기술 수준의 방법들과 비교해 3D 모양 복원에서 뚜렷한 성능 향상을 달성한다.
• 학습 가능한, 구조 인지 가중치 행렬의 사용은 3D 메시에서 국소 기하 변형을 더 잘 모델링할 수 있도록 한다.
• 등방성 필터나 고정된 국소 좌표계를 사용하는 모델보다 성능이 뛰어나, 적응형 이방성 필터링의 우수성을 입증한다.
• 제안된 LSA-Conv 연산은 사전 정의된 좌표계에 의존하지 않고도 국소 구조 패턴을 효과적으로 포착한다.
• 동적이고 기하학적으로 인지하는 컨볼루션 메커니즘 덕분에 다양한 3D 메시 데이터셋에서 뛰어난 일반화 성능을 보인다.
• 성능 향상은 국소 토폴로지에 기반해 정보성 있는 이웃을 우선순위로 지정하는 어텐션 유사 가중치 메커니즘 덕분으로 기인한다.