[論文レビュー] DiffGCN: Graph Convolutional Networks via Differential Operators and Algebraic Multigrid Pooling

Moshe Eliasof, Eran Treister|arXiv (Cornell University)|Jun 7, 2020

3D Shape Modeling and Analysis参考文献 63被引用数 10

ひとこと要約

本稿では、質量、勾配、ラプラシアンなどの離散化された微分作用素を用いてグラフ畳み込みを定式化し、代数多重グリッド（AMG）に基づくプーリング/アンプーリングを用いる階層的特徴抽出を実現するDiffGCNを提案する。この手法は、従来のGCNと比較して計算コストを低減しつつ、ポイントクラウド分類およびパーツセグメンテーションのベンチマークで最先端または競争力のある性能を達成する。

ABSTRACT

Graph Convolutional Networks (GCNs) have shown to be effective in handling unordered data like point clouds and meshes. In this work we propose novel approaches for graph convolution, pooling and unpooling, inspired from finite differences and algebraic multigrid frameworks. We form a parameterized convolution kernel based on discretized differential operators, leveraging the graph mass, gradient and Laplacian. This way, the parameterization does not depend on the graph structure, only on the meaning of the network convolutions as differential operators. To allow hierarchical representations of the input, we propose pooling and unpooling operations that are based on algebraic multigrid methods, which are mainly used to solve partial differential equations on unstructured grids. To motivate and explain our method, we compare it to standard convolutional neural networks, and show their similarities and relations in the case of a regular grid. Our proposed method is demonstrated in various experiments like classification and part-segmentation, achieving on par or better than state of the art results. We also analyze the computational cost of our method compared to other GCNs.

研究の動機と目的

• 構造的なCNNと非構造的幾何的ディープラーニングの間のギャップを埋めるために、グラフ畳み込みを微分作用素に根ざした形で定式化すること。
• グラフ構造に依存しないグラフ畳み込みのパラメータ化を、質量、勾配、ラプラシアンなどの離散化された微分作用素に基づいて行うこと。
• 代数多重グリッド（AMG）法にインspiredされた新しいプーリングおよびアンプーリング操作を導入し、GCNにおける階層的特徴学習を実現すること。
• ポイントクラウドおよびメッシュタスクにおける性能を維持または向上させつつ、計算コストを低減すること。
• ModelNet40 や S3DIS などの標準ベンチマーク上で、提案手法の有効性と効率性を示すこと。

提案手法

• グラフ畳み込みカーネルは、非構造的グリッド上の有限差分近似から導かれる離散化された微分作用素（グラフ質量、勾配、ラプラシアン）を用いてパラメータ化される。
• 畳み込み演算は、これらの微分作用素の線形結合として定義され、幾何的に意味のあるかつ構造に依存しないパラメータ化が可能になる。
• プーリングは、集約ベースの代数多重グリッド（AMG）におけるガレルキン粗化作用素を用いて実装され、効率的な階層的表現学習が可能になる。
• アンプーリングは滑らか化集約を用いて実行され、アップサンプリング時の特徴分解能が保持される。
• CNNのPDE解釈に着想を得ており、規則的なグリッド上の標準CNNと不規則なグラフ上の提案GCNの間の直接的な類似性を示している。
• このフレームワークはエンドツーエンド学習をサポートしており、ポイントクラウド分類およびセマンティックセグメンテーションタスクで評価されている。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みは、グラフトポロジーに依存しない離散化された微分作用素を用いて効果的にパラメータ化可能か？
• RQ2 AMGに基づくプーリングおよびアンプーリング操作は、標準的なGCNのプーリングと比較して性能および効率性において優れているか？
• RQ3 個々の微分作用素（質量、勾配、ラプラシアン）が全体のモデル性能に果たす寄与度は何か？
• RQ4 提案手法は、ポイントクラウドおよびメッシュタスクにおいて、最先端のGCNと比較して競争力あるか、あるいは優れた結果を達成できるか？
• RQ5 提案手法の計算コストは、他の空間ベースのGCNと比較してどの程度か？

主な発見

• ModelNet40では、プーリングを用いた場合、平均クラス正解率が89.5%、全体正解率が93.1%を達成し、質量または勾配項のみを用いたモデルを上回る性能を示した。
• 質量とラプラシアン項の組み合わせは、質量と勾配の組み合わせよりも高い正解率を示しており、ラプラシアンの強力な表現力が裏付けられた。
• S3DISデータセットでは、平均IoUが61.4%、全体正解率が85.5%を達成し、PointNet や DGCNN を上回りつつも、より効率的であることが示された。
• プーリング操作の導入により受容領域が拡大され、FLOPsおよびメモリ使用量の増加はわずかにとどまった。
• 特にAMGに基づくプーリングおよびアンプーリングのおかげで、他のメッセージパッシング型空間ベースのGCNと比較して計算コストが低減されている。
• アブレーションスタディの結果、質量、勾配、ラプラシアンの3つの微分作用素すべてが正の寄与を示しており、すべての組み合わせが最良の性能をもたらした。