[論文レビュー] Dual Geometric Graph Network (DG2N) -- Iterative network for deformable shape alignment

Dvir Ginzburg, Dan Raviv|arXiv (Cornell University)|Nov 30, 2020

3D Shape Modeling and Analysis参考文献 87被引用数 4

ひとこと要約

本稿では、前方写像と後方写像の両方を扱う二重グラフ構造上で、ノイズ除去プロセスをアンラップすることで非剛性形状対応を繰り返し精錬する、学習可能な反復的グラフニューラルネットワークであるDual Geometric Graph Network (DG2N)を提案する。この手法は、メッシュおよび点群の両方の非剛性形状アライメントベンチマークにおいて、極めて非等長な変形下でも最先端の性能を達成し、FAUSTリメッシュドでは平均測地線誤差が5.9、ゼロショット設定では11.0を記録した。

ABSTRACT

We provide a novel new approach for aligning geometric models using a dual graph structure where local features are mapping probabilities. Alignment of non-rigid structures is one of the most challenging computer vision tasks due to the high number of unknowns needed to model the correspondence. We have seen a leap forward using DNN models in template alignment and functional maps, but those methods fail for inter-class alignment where nonisometric deformations exist. Here we propose to rethink this task and use unrolling concepts on a dual graph structure - one for a forward map and one for a backward map, where the features are pulled back matching probabilities from the target into the source. We report state of the art results on stretchable domains alignment in a rapid and stable solution for meshes and cloud of points.

研究の動機と目的

• 大規模な非等長変形下において、従来の深層学習手法が失敗する非剛性・クラス間形状アライメントの課題に取り組む。
• 教師なしの自己教師付きフレームワークとして、真値ラベルを一切必要としない初期対応マップの精錬を実現する。
• 点群のようなノイズ多発・不規則・トポロジー変化を伴う入力に対し、スペクトル法やテンプレートベース手法の限界を克服する。
• 学習可能な反復的グラフノイズ除去パイプラインにより、安定的かつ高速にクリーンなソフト対応マトリクスへの収束を実現する。
• 双方向写像確率に基づく二重グラフ構造を用いて、メッシュおよび点群データの両方を統合的に扱うフレームワークを提供する。

提案手法

• 前方写像（ソースからターゲット）と後方写像（ターゲットからソース）の両方を扱う2つの並列グラフ構造を持つ、二重幾何的グラフネットワーク（DG2N）を構築する。両構造ともソフト対応確率に基づいて構築される。
• 特徴量としてターゲット形状から引き戻された対応確率を表すノードを、新規のDGATアテンションモジュールを備えたグラフ畳み込みネットワーク（GCNs）で集約する。
• 初期ソフト対応マトリクスのノイズ除去を反復的に実行する多段階残差アーキテクチャに、最適化プロセスをアンラップする。
• 4つの主要な損失項（L1、L2、LAG（整列損失）、一貫性損失）を統合し、ノイズ除去プロセスを正則化し、双方向の一貫性を強制する。
• ノード特徴量を近隣ノードの集約に基づいて更新するグラフベースのメッセージスリングメカニズムを採用し、エッジ構築にはk近傍法（点群）またはメッシュトライアングル化（メッシュ）を用いる。
• 真値ラベルを一切必要とせず、初期対応マップのみを入力として、エンドツーエンドで自己教師付きにネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 二重グラフ構造が、大規模な変形下でも双方向対応確率を効果的にモデル化し、非剛性形状アライメントを向上させることができるか？
• RQ2 ソフト対応マップの反復的グラフベースノイズ除去は、従来手法と比較して、困難なベンチマークにおける精度と耐障害性で優れているか？
• RQ3 教師なし・ゼロショットフレームワークが、真値対応アノテーションを一切使用せずに最先端の結果を達成できるか、その限界はどこか？
• RQ4 GNNアーキテクチャ（例：GCN、GAT、DGCNN）や損失部品の違いが、DG2Nにおける最終的なアライメント品質に与える影響は何か？
• RQ5 提案手法は、メッシュおよび点群の異なるモダリティ、および非等長・クラス間形状ペアを含むトポロジーの変化にも一般化可能か？

主な発見

• FAUSTリメッシュドベンチマークでは、DG2Nが平均測地線誤差（MGE）5.9を達成し、すべての先行非教師あり手法（SURFMNet: 36.2、Cyclic-FMNet: 14.1）を上回った。
• ゼロショット設定では、FAUST-リメッシュドでMGEを11.0まで低下させ、次善の手法（Cyclic-FMnet）を3.1ポイント以上上回った。
• アブレーションスタディにより、L1、L2、LAG、一貫性損失という4つの損失関数すべてが不可欠であることが確認され、いずれかを除去すると顕著な性能低下（例：L2除去でMGEが5.9から6.7に上昇）が生じた。
• DGATモジュールを標準のGATやGCNに置き換えると、性能が著しく低下（例：GAT: MGE 14.3 vs. DG2N: 5.9）し、提案されたアテンション機構の重要性が示された。
• ShapeNet（椅子、車両、飛行機）の点群登録において、DG2Nは滑らかで一貫性があり、耐障害性のある対応マップを生成した。スペクトル法や再構築ベースのベースラインは、ノイズの多いラプラシアン分解により失敗した。
• 本手法は非等長変形およびトポロジーの変化に強く、SURREAL、SMAL、TOSCAデータセットでの実験により、異なるクラス間や点数が異なる形状に対しても、成功裏にアライメントを実現した。