[論文レビュー] Self-supervised Single-view 3D Reconstruction via Semantic Consistency

Xueting Li, Sifei Liu+5 more|arXiv (Cornell University)|Mar 13, 2020

3D Shape Modeling and Analysis参考文献 51被引用数 7

ひとこと要約

本論文は、3Dの教師信号、アノテートされたキーポints、マルチビューのデータ、カテゴリ固有のテンプレートを一切必要としない、自己教師付きの単一視点3D再構成手法を提案する。2D画像とシルエットのみを用いて、3Dメッシュの形状、テクスチャ、カメラの姿勢を予測する。自己教師付きのセマンティックパーツセグメンテーションを活用し、標準化されたUVマップを介して2Dパーツと3Dメッシュパーツのセマンティック一貫性を強制することで、カメラ-形状のあいまいさを低減し、変形可能な物体や剛体物体を含む多様なオブジェクトカテゴリにおいて、教師ありの最先端手法と同等の性能を達成する。

ABSTRACT

We learn a self-supervised, single-view 3D reconstruction model that predicts the 3D mesh shape, texture and camera pose of a target object with a collection of 2D images and silhouettes. The proposed method does not necessitate 3D supervision, manually annotated keypoints, multi-view images of an object or a prior 3D template. The key insight of our work is that objects can be represented as a collection of deformable parts, and each part is semantically coherent across different instances of the same category (e.g., wings on birds and wheels on cars). Therefore, by leveraging self-supervisedly learned part segmentation of a large collection of category-specific images, we can effectively enforce semantic consistency between the reconstructed meshes and the original images. This significantly reduces ambiguities during joint prediction of shape and camera pose of an object, along with texture. To the best of our knowledge, we are the first to try and solve the single-view reconstruction problem without a category-specific template mesh or semantic keypoints. Thus our model can easily generalize to various object categories without such labels, e.g., horses, penguins, etc. Through a variety of experiments on several categories of deformable and rigid objects, we demonstrate that our unsupervised method performs comparably if not better than existing category-specific reconstruction methods learned with supervision.

研究の動機と目的

• 3Dの教師信号、アノテートされたキーポイント、マルチビューのデータに依存しないことにより、単一視点3D再構成の不適切な定式化を緩和すること。
• 2D画像パーツと3Dメッシュパーツの間のセマンティック一貫性を用いて、カメラ-形状のあいまいさを低減すること。
• キーポイントが明確に定義されていないオブジェクトカテゴリ（例：ペンギン）に対してゼロショット一般化を可能にするために、スクラッチからカテゴリレベルの形状テンプレートを学習すること。
• 事前形状バイアスを必要とせず、反復的な学習によりインスタンスレベルの再構成とカテゴリレベルのテンプレートメッシュを同時に最適化すること。

提案手法

• 同じオブジェクトカテゴリの2D画像において、自己教師付きの共通パーツセグメンテーション（SCOPS）を用いてセマンティックパーツを同定する。
• 複数のインスタンスにわたるアラインされたセマンティックパーツ予測から、カテゴリレベルの標準化されたセマンティックUVマップを構築する。
• 標準化されたUVマップからセマンティックパーツラベルを再構成された3Dメッシュ表面に投影し、3D-2D間のセマンティック一貫性を強制する。
• 2Dパーツセグメンテーションと3Dメッシュパーツラベルの間のセマンティック一貫性損失を課し、形状とポーズのあいまいさを解消する。
• 微分可能レンダラと adversarial loss を用いて、テクスチャと幾何の忠実度を向上させるために、再構成モデルをエンドツーエンドで訓練する。
• 事前に定義された3Dテンプレートを必要とせず、インスタンス固有のメッシュと共有されるカテゴリレベルのテンプレートメッシュを反復的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 3Dの教師信号なしで、自己教師付きのセマンティックパーツ一貫性が、単一視点3D再構成におけるカメラ-形状のあいまいさを低減できるか？
• RQ2 キーポイントのアノテーションやテンプレートが存在しないオブジェクトカテゴリにおいて、セマンティック一貫性はどれほど一般化性能を向上させるか？
• RQ3 2D画像とシルエットのみを用いて、スクラッチからカテゴリレベルの3Dテンプレートを学習できるか？
• RQ4 セマンティック一貫性と adversarial 学習が、再構成品質およびキーポイント転送性能に与える寄与度は何か？

主な発見

• 提案手法は、CUB-200-2011データセットで APK（キーポイント転送用平均精度）25.0 を達成し、教師ありベースライン手法 CSM を上回った。
• セマンティックパーツセグメンテーションのマスクIoUは 0.734 に達し、セマンティック一貫性損失を除去すると 0.6069 に低下し、その重要性が示された。
• モデルは自己教師付きの SCOPS パートセグメンテーションモデルを改善しており、再構成とパーツ学習の間で相互に利益をもたらしていることが示された。
• アブレーションスタディの結果、確率ベースおよび頂点ベースのセマンティック一貫性損失の両方が、キーポイント転送性能を顕著に向上させた。
• ペンギンやシロクマなど、明確なキーポイントが定義されていないカテゴリに対しても、カテゴリ固有の事前知識を必要とせず、良好に一般化し、再構成した。
• adversarial 学習により、幾何的・テクスチャ的詳細が向上し、鳥類の四肢数の誤検出などのアーチファクトが低減された。