[논문 리뷰] Primal-Dual Mesh Convolutional Neural Networks

Francesco Milano, Antonio Loquercio외 3명|arXiv (Cornell University)|2020. 10. 23.

3D Shape Modeling and Analysis참고 문헌 23인용 수 47

한 줄 요약

PD-MeshNet은 주의 기반 동적 특징 집계와 작업 주도형 메시 풀링을 갖춘 프라이멀-듀얼 그래프 프레임워크를 메시에 도입하여 형태 분류 및 분할에서 최첨단 수준의 성과에 경쟁하는 성과를 달성합니다.

ABSTRACT

Recent works in geometric deep learning have introduced neural networks that allow performing inference tasks on three-dimensional geometric data by defining convolution, and sometimes pooling, operations on triangle meshes. These methods, however, either consider the input mesh as a graph, and do not exploit specific geometric properties of meshes for feature aggregation and downsampling, or are specialized for meshes, but rely on a rigid definition of convolution that does not properly capture the local topology of the mesh. We propose a method that combines the advantages of both types of approaches, while addressing their limitations: we extend a primal-dual framework drawn from the graph-neural-network literature to triangle meshes, and define convolutions on two types of graphs constructed from an input mesh. Our method takes features for both edges and faces of a 3D mesh as input and dynamically aggregates them using an attention mechanism. At the same time, we introduce a pooling operation with a precise geometric interpretation, that allows handling variations in the mesh connectivity by clustering mesh faces in a task-driven fashion. We provide theoretical insights of our approach using tools from the mesh-simplification literature. In addition, we validate experimentally our method in the tasks of shape classification and shape segmentation, where we obtain comparable or superior performance to the state of the art.

연구 동기 및 목표

• 삼각 메시에 기하적 특성과 위상적 특성 모두를 활용하여 학습을 촉진한다.
• 동적이고 주의 기반의 특징 집합화를 가능하게 하는 이중 그래프(프라이멀 그래프와 듀얼 그래프) 프레임워크를 개발한다.
• 프라이멀 그래프의 간 수축을 통해 작업 주도적이고 기하학적으로 의미 있는 풀링 연산을 도입한다.
• 모양 분할을 위한 인코더-디코더 아키텍처와 모양 분류를 위한 간단한 분류기를 제공한다.
• 여러 메시 벤치마크에서 방법의 성능을 검증하여 경쟁력 있는 또는 우수한 성능을 보여준다.

제안 방법

• 입력 메시로부터 프라이멀 그래프와 듀얼 그래프를 구성하고, 프라이멀 노드는 면의 특징을, 듀얼 노드는 간을 가진다.
• 학습 가능한 가중치와 주의 계수를 가진 교호적인 프라이멀 그래프 어텐션 컨볼루션(GAT)을 적용한다.
• 합산된 주의 계수를 따라 프라이멀 그래프의 간을 수축시켜 면 클러스터를 형성하는 풀링 연산을 구현한다.
• 풀링 후 듀얼 그래프를 다시 구성하여 라인 그래프/중간 그래프 관계를 반영한다.
• 세그먼트를 위해 인코더–디코더(U-Net 유사)와 모양 분류를 위한 소형 분류기 네트워크를 사용한다.
• Adam으로 학습하고, PyTorch 및 PyTorch Geometric으로 구현한다.

실험 결과

연구 질문

• RQ1 프라이멀-듀얼 메시 컨볼루션 프레임워크가 기하적 및 위상적 메시 구조를 딥러닝 작업에 효과적으로 포착할 수 있는가?
• RQ2 주의 기반 동적 특징 집계가 고정 커널 메쉬 CNN 대비 성능을 향상시키는가?
• RQ3 메시 특화적이고 작업 주도적인 풀링 연산이 학습될 수 있으며 메시 구조의 의미 있는 계층적 추상화를 제공하는가?
• RQ4 제안된 PD-MeshNet가 메시 분류 및 분할에서 최첨단 방법과 비교했을 때 어떤 성능을 보이는가?

주요 결과

• SHREC에서 PD-MeshNet은 99.7%(Split 16) 및 99.1%(Split 10)를 달성하여 MeshCNN 및 다른 기준선보다 우수하다.
• Cube Engraving에서 PD-MeshNet은 94.39%의 테스트 정확도를 달성하며 MeshCNN보다 2.23pp 높고 PointNet++를 크게 능가한다.
• COSEG의 경우, PD-MeshNet은 외계인, 의자, 꽃병 카테고리 전반에서 MeshCNN보다 더 높은 면 라벨 정확도를 보이며(일부 경우 최대 4.24% 더 좋음)
• Human Body에서 면 라벨 정확도에서 MeshCNN보다 PD-MeshNet이 더 우수합니다(보고된 비교에서 93.9% 대 85.6%).
• 본 방법은 위상특정 제약 없이 주의 기반 풀링을 통해 면 클러스터 학습을 가능하게 하며, 기하학적으로 해석 가능한 다운샘플링을 제공하면서도 경쟁력 있는 결과를 유지한다.