[論文レビュー] Primal-Dual Mesh Convolutional Neural Networks

Francesco Milano, Antonio Loquercio+3 more|arXiv (Cornell University)|Oct 23, 2020

3D Shape Modeling and Analysis参考文献 23被引用数 47

ひとこと要約

PD-MeshNetは、注意ベースの動的特徴集約とタスク駆動のメッシュプーリングを備えた primal-dual グラフフレームワークをメッシュへ導入し、形状分類とセグメンテーションで最先端と競合する結果を達成します。

ABSTRACT

Recent works in geometric deep learning have introduced neural networks that allow performing inference tasks on three-dimensional geometric data by defining convolution, and sometimes pooling, operations on triangle meshes. These methods, however, either consider the input mesh as a graph, and do not exploit specific geometric properties of meshes for feature aggregation and downsampling, or are specialized for meshes, but rely on a rigid definition of convolution that does not properly capture the local topology of the mesh. We propose a method that combines the advantages of both types of approaches, while addressing their limitations: we extend a primal-dual framework drawn from the graph-neural-network literature to triangle meshes, and define convolutions on two types of graphs constructed from an input mesh. Our method takes features for both edges and faces of a 3D mesh as input and dynamically aggregates them using an attention mechanism. At the same time, we introduce a pooling operation with a precise geometric interpretation, that allows handling variations in the mesh connectivity by clustering mesh faces in a task-driven fashion. We provide theoretical insights of our approach using tools from the mesh-simplification literature. In addition, we validate experimentally our method in the tasks of shape classification and shape segmentation, where we obtain comparable or superior performance to the state of the art.

研究の動機と目的

• 三角形メッシュの幾何とトポロジーの両方の特性を活用して学習を動機づける。
• 動的な注意ベースの特徴集約を可能にするデュアルグラフ（プライマルとデュアル）フレームワークを開発する。
• プライマルグラフのエッジ収縮を介したタスク駆動の幾何学的に意味のあるプーリング操作を導入する。
• 形状セグメンテーションのエンコーダ-デコーダアーキテクチャを提供し、形状分類のための簡易な分類器を提供する。
• 複数のメッシュベンチマークで方法を検証し、競合または優れた性能を示す。

提案手法

• 入力メッシュからプライマルおよびデュアルグラフを構築し、プライマルノードとして面上に特徴を、デュアルノードとしてエッジを用いる。
• 学習可能な重みとアテンション係数を持つ交互のプライマルおよびデュアルグラフ注意畳み込み（GAT）を適用する。
• summed attention coefficients によって導かれるプライマルグラフのエッジを収縮して顔クラスターを形成するプーリング操作を実装する。
• プーリング後にデュアルグラフを再構築してライングラフ/メディアルグラフの関係を反映させる。
• セグメンテーションにはエンコーダ-デコーダ（U-Net風）を使用し、形状カテゴリ化には小さな分類器ネットワークを用いる。
• Adamで学習; PyTorchおよびPyTorch Geometricで実装する。

実験結果

リサーチクエスチョン

• RQ1 プライマル-デュアルメッシュ畳み込みフレームワークは、深層学習タスクに対して幾何とトポロジーの両方の構造を効果的に捉えることができるか？
• RQ2 注意ベースの動的特徴集約は固定カーネルのメッシュCNNより性能を向上させるか？
• RQ3 メッシュ固有のタスク駆動プーリング操作を学習可能で、メッシュ構造の意味のある階層的抽象化を提供できるか？
• RQ4 提案されたPD-MeshNetは、最先端手法と比較してメッシュ分類とセグメンテーションでどのような性能を示すか？

主な発見

• SHRECでは、PD-MeshNetは 99.7%（Split 16）と 99.1%（Split 10）を達成し、MeshCNNおよび他のベースラインよりも優れている。
• Cube Engravingでは、PD-MeshNetはテスト精度 94.39%を達成し、MeshCNNより2.23ポイント高く、PointNet++を大きく上回る。
• COSEGでは、PD-MeshNetは aliens、chairs、vases カテゴリ全体で MeshCNN を上回る顔ラベル精度を示し、場合によっては最大で 4.24% 向上。
• Human Bodyでは、PD-MeshNetは顔ラベル精度で MeshCNNを上回る（報告比較で 93.9% 対 85.6%）。
• 本手法は注意駆動のプーリングを介して顔クラスターを学習可能にし、トポロジー特定の制約なしで競争力のある結果を維持しつつ、幾何学的に解釈可能なダウンサンプリングを提供する。