[論文レビュー] The Whole Is Greater Than the Sum of Its Nonrigid Parts

Oshri Halimi, Ido Imanuel+5 more|arXiv (Cornell University)|Jan 27, 2020

3D Shape Modeling and Analysis参考文献 61被引用数 11

ひとこと要約

本論文では、非剛性形状補完と部分的対応を統合するため、完全な形状を事前知識として用いて、異なる姿勢にある単一の部分スキャンから完全で詳細な3次元モデルを再構築する深層シアンプスオートエンコーダを提案する。本手法は、合成データおよび実データの両方で、単一視点非剛性形状補完および密な対応分野において最先端の性能を達成しており、ノイズ、ダウンサンプリング、異なる投影角度に対して高いロバスト性を示す。

ABSTRACT

According to Aristotle, a philosopher in Ancient Greece, "the whole is greater than the sum of its parts". This observation was adopted to explain human perception by the Gestalt psychology school of thought in the twentieth century. Here, we claim that observing part of an object which was previously acquired as a whole, one could deal with both partial matching and shape completion in a holistic manner. More specifically, given the geometry of a full, articulated object in a given pose, as well as a partial scan of the same object in a different pose, we address the problem of matching the part to the whole while simultaneously reconstructing the new pose from its partial observation. Our approach is data-driven, and takes the form of a Siamese autoencoder without the requirement of a consistent vertex labeling at inference time; as such, it can be used on unorganized point clouds as well as on triangle meshes. We demonstrate the practical effectiveness of our model in the applications of single-view deformable shape completion and dense shape correspondence, both on synthetic and real-world geometric data, where we outperform prior work on these tasks by a large margin.

研究の動機と目的

• 完全な形状を幾何的事前知識として用いることで、単一視点非剛性形状補完の不適切に定式化された問題を解決すること。
• 一貫したエンドツーエンドの学習フレームワーク内で、部分形状マッチングと非剛性形状補完を統合すること。
• 一貫した頂点ラベル付けを必要とせずに、部分スキャンから完全で詳細な3次元形状を正確に再構築できること。
• 極端な不完全性、ノイズ、さまざまな視点角度に対しても、ロバストな性能を発揮すること。
• 合成データ（FAUST）および実世界データ（AMASS）の両方で最先端の結果を示すこと。

提案手法

• 完全な形状を異なる姿勢にある部分スキャンに一致させる変形場を予測するように、シアンプスエンコーダ・デコーダアーキテクチャを訓練する。
• 非剛性変換によって関連付けられたペアドの完全形状と部分形状を用いて、自己教師ありの方法でネットワークを訓練する。
• 変形は、完全な形状（識別子として）と部分形状（姿勢として）からの幾何的特徴に基づいて予測される。
• 推論時に一貫した頂点対応を必要とせず、非整列点群および三角形メッシュ上で動作する。
• 部分形状と再構築された完全形状との間の最近傍探索により、密な対応が回復される。
• アーキテクチャは方位角投影角度に対して不変であり、頂点ノイズおよびダウンサンプリングに対してもロバストである。

実験結果

リサーチクエスチョン

• RQ1 完全な形状を事前知識として用いる深層学習モデルは、単一の部分スキャンから完全で詳細な3次元形状を再構築できるか？
• RQ2 極端な不完全性下でも、統合フレームワークが非剛性形状補完と部分的対応を同時に効果的に解決できるか？
• RQ3 実世界スキャンにおいて、ノイズ、頂点のダウンサンプリング、および異なる投影角度に対して、この手法はどの程度ロバストか？
• RQ4 一貫した頂点ラベル付けを必要とせずに、多様な被験者およびポーズに一般化できるか？
• RQ5 完全な形状の内在的幾何構造を活用することで、部分データのみに依存する手法と比較して、再構築の忠実度が著しく向上するか？

主な発見

• 本手法は、FAUSTおよびAMASSデータセットの両方で、単一視点非剛性形状補完分野において最先端の性能を達成しており、先行研究を大きく上回る。
• 4 cmの加法的白色ガウスノイズ下でも、わずかな性能低下のうちに高い再構築精度を維持する。
• 頂点のダウンサンプリングに対してもロバストであることが実証され、顕著な頂点削減に対しても正確な再構築が保持される。
• さまざまな投影角度における誤差分布はほぼ一様であり、方位角不変性が強く、視点方向にかかわらず一貫した性能を示す。
• 部分入力と再構築形状との間の最近傍一致による密な非剛性対応が成功裏に回復され、定性的および定量的検証が行われた。
• 1回の推論で1秒未塔の高速な処理が可能であり、リアルタイム応用に適した高い効率性を示した。