[論文レビュー] 3D-CODED : 3D Correspondences by Deep Deformation

Thibault Groueix, Matthew Fisher+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Jun 13, 2018

3D Shape Modeling and Analysis参考文献 46被引用数 7

ひとこと要約

本論文では、テンプレートベースの変形ネットワークを用いて3D形状対応を学習する深層学習フレームワーク、3D-CODEDを紹介する。形状を共有テンプレートからの可学習なグローバル特徴量として符号化することで、明示的な対応関係の教師なしで学習しても、FAUST-interで平均2.88cmの誤差を達成し、最先端の性能を実現する。

ABSTRACT

We present a new deep learning approach for matching deformable shapes by introducing {\it Shape Deformation Networks} which jointly encode 3D shapes and correspondences. This is achieved by factoring the surface representation into (i) a template, that parameterizes the surface, and (ii) a learnt global feature vector that parameterizes the transformation of the template into the input surface. By predicting this feature for a new shape, we implicitly predict correspondences between this shape and the template. We show that these correspondences can be improved by an additional step which improves the shape feature by minimizing the Chamfer distance between the input and transformed template. We demonstrate that our simple approach improves on state-of-the-art results on the difficult FAUST-inter challenge, with an average correspondence error of 2.88cm. We show, on the TOSCA dataset, that our method is robust to many types of perturbations, and generalizes to non-human shapes. This robustness allows it to perform well on real unclean, meshes from the the SCAPE dataset.

研究の動機と目的

• ノイズや低解像度の下で、人間や動物のような非剛体で変形可能な形状の信頼性の高い3D形状対応を確立する課題に取り組む。
• 手作業で設計されたテンプレートに依存し、複雑な目的関数と局所最適解に陥りやすい局所最適化に依存する従来手法の限界を克服する。
• 形状符号化と変形を同時に学習する統一的でエンドツーエンドの深層学習フレームワークを構築し、ドメイン固有の事前知識への依存を低減する。
• 実世界の汚れたメッシュやさまざまな摂動（非ヒトの形状や複雑なポーズなど）に対しても一般化できることを示す。
• 明示的な対応関係の教師なしでの学習を検討し、大規模で弱教師ありのデータセットの利用を可能にする。

提案手法

• 3D形状を共有テンプレートとグローバル特徴ベクトルに分解する形状変形ネットワークを提案し、このベクトルがテンプレートから入力形状への変形を符号化する。
• エンコーダ・デコーダアーキテクチャを採用：エンコーダーは入力形状をグローバル特徴ベクトルにマップし、デコーダー（変形ネットワーク）はこのベクトルを用いてテンプレートを入力形状に一致させるように変形する。
• 変形ネットワークを介して勾配を伝搬させながら、チェンファーディスタンスを最小化する微分可能な最適化ステップを用いて、対応品質を向上させる。
• 単純な再構成損失（チェンファーディスタンス）を用いてネットワークを学習し、必要に応じて滑らかで規則正しい写像を促進する正則化を追加する。
• データオーグメンテーション（入力形状の回転）または回転等変性ネットワークの訓練により回転不変性を達成する。
• 特にレアまたは分布外のポーズに強い一般化を実現するため、大規模な合成データセット（例：SURREAL）を活用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な対応関係の教師なしで、深層学習モデルが一貫した3D形状対応を学習できるか？
• RQ2 従来の内在的または機能的アプローチと比較して、テンプレートベースの変形アプローチは非剛体形状マッチングにおいてどれほど有効か？
• RQ3 1つの共有テンプレートが、ヒト以外の形状や多様なポーズに対してもどれほど一般化できるか？
• RQ4 複雑な複数項目的関数を必要としない単純な再構成損失を用いたエンドツーエンド学習は、複数項目的関数を必要とする手法を上回る性能を発揮するか？
• RQ5 教師なし学習下で正則化を追加することで、対応品質はどの程度向上するか？

主な発見

• 3D-CODEDはFAUST-interベンチマークで2.88cmの最先端の平均対応誤差を達成し、先行手法を上回る性能を示した。
• SURREALデータセットの実際の汚れたメッシュに対しても良好な一般化を示し、ノイズや不規則なサンプリングに対してもロバストであることを実証した。
• 対応関係の教師なしで学習した場合、FAUST-interで4.88cmの誤差を達成し、Deep Functional Map（4.83cm）と同等の性能を示し、弱教師あり学習の有効性を裏付けた。
• 曲げたポーズを含む多様なポーズで訓練データをオーグメントすることで、分布外のテスト形状に対する性能が顕著に向上した。
• 勾配降下法を用いてチェンファーディスタンスを最小化する最適化ステップは、初期予測が悪くても、対応精度を著しく向上させた。
• 教師なし学習下では表面正則化が不可欠である：正則化がなければ、点群予測は妥当でもメッシュが歪みてしまうことがわかった。