[論文レビュー] Shape correspondences from learnt template-based parametrization

Thibault Groueix, Matthew Fisher+3 more|arXiv (Cornell University)|Jun 13, 2018

3D Shape Modeling and Analysis被引用数 2

ひとこと要約

本論文は、形状表現を学習可能なテンプレートと、テンプレートから入力形状へ写像する特徴ベクトルに分解する深層学習手法を提案する。特徴ベクトルの回帰と、チェンファーディスタンス最小化による精練を経て、FAUSTベンチマークで平均誤差2.88cmを達成し、従来手法を上回る性能を発揮し、実スキャンおよび非ヒト形状に対しても優れた性能を示した。

ABSTRACT

We present a new deep learning approach for matching deformable shapes by using a model which jointly encodes 3D shapes and correspondences. This is achieved by factoring the surface representation into (i) a template, that parameterizes the surface, and (ii) a learnt feature vector that parameterizes the function which transforms the template into the input surface. We show that our network can directly predict the feature vector and thus correspondences for a new input shape, but also that correspondence quality can be significantly improved by an additional regression step. This additional step improves the shape feature vector by minimizing the Chamfer distance between the input and parameterized shape. We show that this produces both a better shape representation and better correspondences. We demonstrate that our simple approach improves state of the art results on the difficult FAUST inter challenge, with an average correspondence error of 2.88cm. We also show results on the real scans from the SCAPE dataset and the synthetically perturbed shapes from the TOSCA dataset, including non-human shapes.

研究の動機と目的

• 大規模な非剛性変形にさらされる可動形状の3次元形状対応を改善すること。
• 形状幾何と対応関係の両方を符号号化する統合表現を開発すること。
• 学習された特徴ベクトルを介して直接対応関係を予測しつつ、精度向上のための精錬を可能にすること。
• 実スキャンおよび合成的に摂動を加えた形状を含む多様なデータセットに対して、頑健性を示すことを目的とする。

提案手法

• 本手法は、3次元形状を固定されたテンプレートと、テンプレートから入力形状への変形をパrametrizeする学習可能な特徴ベクトルに分解する。
• 深層ニューラルネットワークが入力形状から直接特徴ベクトルを予測することで、エンドツーエンドの対応関係予測を実現する。
• 追加の回帰ステップにより、入力形状とテンプレートおよび予測された特徴ベクトルから再構築された形状との間のチェンファーディスタンスを最小化する。
• 精錬ステップは、特徴ベクトルの最適化を通じて、形状表現の質と対応関係の品質の両方を向上させる。
• 勾配ベースの最適化が可能となるように、微分可能なパrametrizationを用いる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なテンプレートベースのパrametrizationは、従来の深層学習手法に比べ、非剛性形状においてより高い対応精度を達成できるか？
• RQ2 チェンファーディスタンス最小化による予測された特徴ベクトルの精錬は、対応関係の品質と形状表現にどのような影響を与えるか？
• RQ3 本手法は、標準ベンチマークをはるかに超えて、実スキャンおよび非ヒト形状に対しても一般化可能か？
• RQ4 テンプレートと特徴ベクトルによる形状と対応関係の統合符号号化は、変形に対して頑健性を向上させるか？

主な発見

• 本手法は、挑戦的なFAUSTインター・チャレンジデータセットにおいて、2.88cmの最先端の平均対応誤差を達成した。
• 追加の回帰ステップにより、チェンファーディスタンスを用いた予測特徴ベクトルの精錬を通じて、対応関係の品質が顕著に向上した。
• SCAPEデータセットの実スキャンに対しても、ノイズや測定アーチファクトに対して頑健であることが示され、良好な一般化性能を発揮した。
• TOSCAデータセットの合成的に摂動を加えた形状、非ヒト形状に対しても、高品質な対応関係が得られた。