[論文レビュー] SpiralNet++: A Fast and Highly Efficient Mesh Convolution Operator

Shunwang Gong, Lei Chen+2 more|arXiv (Cornell University)|Nov 13, 2019

3D Shape Modeling and Analysis参考文献 32被引用数 7

ひとこと要約

SpiralNet++ は、学習されたカーネル重みではなく、固定されたらせんシーケンスを用いて頂点の近隣順序を明示的に符号化する高速で効率的なメッシュ畳み込み演算子を提案する。これにより、ロバストでエンドツーエンドの訓練が可能となり、密度の高い形状対応、3次元顔の表情分類、3次元形状再構築において最先端の手法を上回る性能を発揮する。また、形状記述子や擬似座標に依存せず、著しく高速である。

ABSTRACT

Intrinsic graph convolution operators with differentiable kernel functions play a crucial role in analyzing 3D shape meshes. In this paper, we present a fast and efficient intrinsic mesh convolution operator that does not rely on the intricate design of kernel function. We explicitly formulate the order of aggregating neighboring vertices, instead of learning weights between nodes, and then a fully connected layer follows to fuse local geometric structure information with vertex features. We provide extensive evidence showing that models based on this convolution operator are easier to train, and can efficiently learn invariant shape features. Specifically, we evaluate our method on three different types of tasks of dense shape correspondence, 3D facial expression classification, and 3D shape reconstruction, and show that it significantly outperforms state-of-the-art approaches while being significantly faster, without relying on shape descriptors. Our source code is available on GitHub.

研究の動機と目的

• 複雑なカーネル関数や擬似座標システムに依存せずに、3次元メッシュデータに対する効率的で微分可能な畳み込み演算子を設計する課題に対処すること。
• ランダムならせんシーケンス生成の代わりに固定された、トポロジーに配慮したシーケンスを用いることで、メッシュ上の幾何的ディープラーニングにおける訓練の安定性と効率を向上させること。
• 順序付けられた近隣集約を通じて局所的な幾何的構造を明示的に符号化することで、不変な形状特徴の学習を可能にすること。
• 密度の高い対応、表情分類、形状再構築を含む多様な3次元ビジョンタスクにおいて、優れた性能と速度を示すことを実証すること。
• パrameter数を増加させずに複数スケールの幾何的詳細を捉えることができる、拡張型の演算子を導入すること。

提案手法

• 各メッシュに対して一度だけ近隣頂点の順序を固定されたらせんシーケンスで定義し、エポックごとのランダムなシーケンス生成に代えることで、訓練の安定性と効率を向上させる。
• らせん順序付けの後に全結合層を適用し、局所的な幾何的構造と頂点特徴を統合することで、複雑なカーネル重み関数の学習を回避する。
• 複数スケールでより大きな近隣領域をサンプリングする拡張型畳み込みのバリエーションを統合し、パrameter数を増加させずに受容 field を拡大する。
• 形状再構築のための標準的なオートエンコーダフレームワーク内で演算子を適用し、頂点回復に重心座標を用いたプーリングおよびアンプーリングを実装する。
• すべてのベースラインと同一のアーキテクチャで公平な比較を保つために、固定されたハイパーパramータを用いた Adam 最適化手法を採用する。
• 事前処理された形状記述子や擬似座標を必要とせず、3次元座標そのもので直接処理を行う。

実験結果

リサーチクエスチョン

• RQ1 学習されたカーネル関数や擬似座標システムに依存せずに、高速で高効率なメッシュ畳み込み演算子を設計できるか？
• RQ2 エポックごとにランダム化するのではなく、固定されたらせんシーケンスを用いることで、訓練収束性とモデル安定性が向上するか？
• RQ3 固定構造の近隣集約手法は、多様な3次元ビジョンタスクにおいて、識別性があり不変な形状特徴を効果的に学習できるか？
• RQ4 提案された拡張型 SpiralNet++ バリエーションは、標準バージョンと比較して、多スケールの幾何的詳細をどのように捉えているか？
• RQ5 形状記述子を用いない状態で、SpiralNet++ は形状再構築、対応、表情分類において、最先端の手法をどの程度上回るか？

主な発見

• SpiralNet++ は、すべてのベースラインを上回り、密度の高い形状対応タスクで、より高い正確性と高速な収束、短い訓練時間を達成した。
• 3次元顔の表情分類において、CoMA や Neural3DMM、MoNet や FeaStNet よりも低い平均および中央値のユークリッド誤差を達成し、特に極端な表情に対して顕著に優れた性能を示した。
• 拡張型 SpiralNet++ バリエーションは、より優れた再構築品質を達成し、平均および中央値の誤差が低く抑えられており、非線形な形状詳細を捉える能力が向上していることが示された。
• SpiralNet++ は、Neural3DMM や CoMA などの競合手法と比較して、1エポックあたり数倍高速に動作し、効率的な固定シーケンス設計のおかげである。
• 形状記述子や擬似座標を一切使用せず、すべての評価タスクで最先端の性能を達成した。これは、汎用性の高さを証明するものである。
• 可視化結果から、SpiralNet++ は特に極端な表情を示す顔において、他のモデルが著しく失敗する状況でもより正確な再構築を実現していることがわかった。