[論文レビュー] ALIGNet: Partial-Shape Agnostic Alignment via Unsupervised Learning

Rana Hanocka, Noa Fish+4 more|arXiv (Cornell University)|Apr 23, 2018

Image and Object Detection Techniques参考文献 31被引用数 20

ひとこと要約

ALIGNetは、完全なソース形状を欠損したターゲット形状に、まるで完全であるかのように変形させるように学習された畳み込みニューラルネットワークを用いて、部分的形状に依存しない形状アライメントのための教師なし深層学習手法を提案する。形状データセットを活用して形状に依存する事前分布を学び、非等方的全 Variation 正則化を用いて局所的な滑らかさを強制することで、ターゲット形状の50％以上が欠損している場合でさえも、真値の対応点を必要とせずに、頑健で一般化可能なアライメントを達成する。

ABSTRACT

The process of aligning a pair of shapes is a fundamental operation in computer graphics. Traditional approaches rely heavily on matching corresponding points or features to guide the alignment, a paradigm that falters when significant shape portions are missing. These techniques generally do not incorporate prior knowledge about expected shape characteristics, which can help compensate for any misleading cues left by inaccuracies exhibited in the input shapes. We present an approach based on a deep neural network, leveraging shape datasets to learn a shape-aware prior for source-to-target alignment that is robust to shape incompleteness. In the absence of ground truth alignments for supervision, we train a network on the task of shape alignment using incomplete shapes generated from full shapes for self-supervision. Our network, called ALIGNet, is trained to warp complete source shapes to incomplete targets, as if the target shapes were complete, thus essentially rendering the alignment partial-shape agnostic. We aim for the network to develop specialized expertise over the common characteristics of the shapes in each dataset, thereby achieving a higher-level understanding of the expected shape space to which a local approach would be oblivious. We constrain ALIGNet through an anisotropic total variation identity regularization to promote piecewise smooth deformation fields, facilitating both partial-shape agnosticism and post-deformation applications. We demonstrate that ALIGNet learns to align geometrically distinct shapes, and is able to infer plausible mappings even when the target shape is significantly incomplete. We show that our network learns the common expected characteristics of shape collections, without over-fitting or memorization, enabling it to produce plausible deformations on unseen data during test time.

研究の動機と目的

• 従来の特徴ベース手法が対応点の欠如により失敗する、幾何的に異なる、または部分的に欠損した形状のアライメントの課題に対処すること。
• 局所最適化手法がグローバルな形状事前分布を欠き、欠損データやトポロジーの変化に敏感であるという限界を克服すること。
• 大規模な形状コレクションから形状に依存する事前分布を学習するデータ駆動型、教師なしフレームワークを構築し、妥当で構造を保つ変形をガイドすること。
• ネットワークが部分入力から完全な形状構造を推定するように学習させることで、顕著な形状不完全性に対しても頑健なアライメントを可能にすること。
• 正則化と自己教師学習を通じて過学習や記憶を回避することで、未学習の形状への一般化を保証すること。

提案手法

• ターゲット形状が部分的に観測されていても、変形されたソース形状と完全なターゲット形状の重複を比較する自己教師学習損失を用いて、CNNベースのワーピングネットワークを学習する。
• グリッドベースの自由形式変形（FFD）層を微分可能空間変換器として採用し、制御可能な滑らかさを持つ高次の表現力のある変形を学習する。
• 変形場に非等方的全 Variation（TV）正則化を適用し、局所的な滑らかさを促進し、後続の処理タスクにおける構造的歪みを防ぐ。
• データセット内の形状のランダムペアを訓練サンプルとして用い、ソースは常に完全であり、ターゲットはランダムにマスキングして不完全性を模擬する。
• 大規模な形状コレクションを活用して、共通する幾何的・トポロジカル的・意味的特性を捉えるグローバルでクラス固有の形状事前分布を学習する。
• 真値の対応点やアライメントラベルを一切必要としない、教師なしのエンドツーエンドのネットワーク学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、いかなる真値の教師信号がなくても、欠損したターゲットに対して妥当な形状アライメントを学習できるか？
• RQ2 データセットから学習した形状に依存する事前分布は、欠損部を含む状況でどれほどアライメントの頑健性を向上させるか？
• RQ3 非等方的全 Variation 正則化は、変形中に幾何的構造を保持しながら部分的形状に依存しない性質を実現するためにどれほど効果的か？
• RQ4 ネットワークは、ターゲットが著しく不完全であっても、同じクラスや類似クラスの未学習の形状に一般化できるか？
• RQ5 教師なし・自己教師学習の訓練枠組みは、対称性やスケールの正確な再構成を可能にする一方で、過学習や記憶を防げるか？

主な発見

• ALIGNetは、形状の50％以上欠損している部分的ターゲットに対しても、完全なソース形状を妥当で構造的に整合性のある結果としてアライメントするのに成功している。
• 対称性やスケールといった重要な形状属性でさえ、曖昧または極めて不完全な状況でも保持されており、形状事前分布の有効な学習が示されている。
• 非等方的全 Variation 正則化は変形の滑らかさを顕著に向上させ、特にテクスチャ転送などの後続タスクにおいて構造的劣化を防ぐ。
• 同じデータセットからの未学習のテスト形状、さらには訓練済みでないが類似した形状クラスに対しても、良好な一般化性能を示しており、頑健性と一般化能力が裏付けられている。
• 教師なし訓練スキームにより、ネットワークは特定の例を記憶するのではなく、データセット全体に共通する形状事前分布を学習しているため、記憶や過学習が回避されている。
• ICPによる後処理でアライメントをさらに精緻化できるため、ALIGNetが反復的精緻化手法の強力な初期化を提供していることが示唆される。