[論文レビュー] DiffusionNet: Discretization Agnostic Learning on Surfaces

Nicholas Sharp, Souhaib Attaiki+2 more|arXiv (Cornell University)|Dec 1, 2020

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

DiffusionNetは、三角形メッシュやポイントクラウドにおける特徴伝搬を強力に、解像度に依存しない形で可能にする、学習可能な拡散層を用いた、離散化に依存しない深層学習フレームワークを導入した。拡散のサポートを連続的パラメータとして最適化し、ポイントワイドなMLPと空間勾配特徴を組み合わせることで、固定された近傍サイズを必要とせず、表面分類、セグメンテーション、非剛性対応の分野で最先端の性能を達成した。

ABSTRACT

We introduce a new general-purpose approach to deep learning on 3D surfaces, based on the insight that a simple diffusion layer is highly effective for spatial communication. The resulting networks are automatically robust to changes in resolution and sampling of a surface -- a basic property which is crucial for practical applications. Our networks can be discretized on various geometric representations such as triangle meshes or point clouds, and can even be trained on one representation then applied to another. We optimize the spatial support of diffusion as a continuous network parameter ranging from purely local to totally global, removing the burden of manually choosing neighborhood sizes. The only other ingredients in the method are a multi-layer perceptron applied independently at each point, and spatial gradient features to support directional filters. The resulting networks are simple, robust, and efficient. Here, we focus primarily on triangle mesh surfaces, and demonstrate state-of-the-art results for a variety of tasks including surface classification, segmentation, and non-rigid correspondence.

研究の動機と目的

• メッシュ解像度やサンプリング密度の変動に強く、解像度に依存しない3D表面用の深層学習フレームワークを開発すること。
• グラフベースのGNNにおける近傍サイズの手動選択を排除し、メッセージ伝達の空間的サポートを学習可能にする。
• 再トレーニングなしに、ある幾何的表現（例：三角形メッシュ）で学習し、別の表現（例：ポイントクラウド）で推論することを可能にすること。
• 効果的な空間的通信を活用して、分類、セグメンテーション、非剛性対応などの表面解析タスクの性能を向上させること。
• 拡散過程を一般用途のインダクティブバイアスとして活用することで、表面における幾何的深層学習を統合すること。

提案手法

• 本手法は、局所的からグローバルな範囲にまで変動可能な微分可能なパラメータとして最適化される拡散半径を持つ、学習可能な拡散層を採用し、連続的空間フィルタとして機能する。
• 特徴伝搬は、点ごとの特徴に適用される拡散作用素を介して行われ、カーネルはトポロジーに依存せず、エンド・ツー・エンドで学習される。
• 各点は、自身の特徴に対してマルチレイヤーパーセプトロン（MLP）を独立して適用し、その後に近隣からの拡散ベースの集約処理を実行する。
• 方向性フィルタリングを支援し、幾何的認識を向上させるために、空間勾配特徴が組み込まれている。
• ネットワークは三角形メッシュ上でエンド・ツー・エンドにトレーニングされ、再トレーニングなしにポイントクラウドへ一般化可能である。
• 拡散プロセスは、グラフ畳み込みの連続的リラクゼーションとして定式化されており、異なる表面表現間で離散化に依存しない学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な拡散層は、表面における幾何的深層学習の手作業で設計された近傍構造を置き換えうるか？
• RQ2 1つの表面表現（例：メッシュ）で学習した単一のネットワークが、別の表現（例：ポイントクラウド）へどの程度一般化できるか？
• RQ3 標準的な表面学習ベンチマークにおいて、拡散ベースのネットワークは既存のGNNと比較してどの程度の性能を示すか？
• RQ4 拡散サポートのエンド・ツー・エンド最適化は、サンプリングや解像度の変動に対するロバストネスを向上させるか？
• RQ5 空間勾配特徴の組み込みが、幾何的深層学習における方向性特徴学習に与える影響は何か？

主な発見

• DiffusionNetは、ShapeNet や SURREAL といった標準ベンチマークにおいて、表面分類、セグメンテーション、非剛性対応タスクで最先端の性能を達成した。
• 本手法は、メッシュ解像度やサンプリング密度の変化に対してロバストであり、さまざまな離散化において一貫した性能を維持した。
• 三角形メッシュで学習したネットワークがポイントクラウドでの推論に効果的に一般化され、離散化に依存しない学習の有効性が示された。
• 学習された拡散半径は、手動でのチューニングなしに、局所的およびグローバルな受容 field のバランスを効果的に調整した。
• 空間勾配特徴を組み込むことで、非剛性対応など方向性に敏感なタスクの性能が向上した。
• 拡散層、MLP、勾配特徴のみに依存する極めてシンプルなアーキテクチャでありながら、強力な結果を達成した。