[論文レビュー] Implicit Mesh Reconstruction from Unannotated Image Collections

Shubham Tulsiani, Nilesh Kulkarni+1 more|arXiv (Cornell University)|Jul 16, 2020

3D Shape Modeling and Analysis参考文献 38被引用数 17

ひとこと要約

本論文は、前景マスクのみを用いて、アノテーションのない画像コレクションからの暗黙的メッシュ再構成のための自己教師付き手法を提案する。学習された暗黙的関数を用いて球体を3D形状に変形させながら、テクスチャとカメラポーズを予測する。強力な教師信号に依存しないにもかかわらず、30種類の多様なオブジェクトカテゴリにわたり、意味的な形状とテクスチャ再構成を実現し、優れた性能を達成している。

ABSTRACT

We present an approach to infer the 3D shape, texture, and camera pose for an object from a single RGB image, using only category-level image collections with foreground masks as supervision. We represent the shape as an image-conditioned implicit function that transforms the surface of a sphere to that of the predicted mesh, while additionally predicting the corresponding texture. To derive supervisory signal for learning, we enforce that: a) our predictions when rendered should explain the available image evidence, and b) the inferred 3D structure should be geometrically consistent with learned pixel to surface mappings. We empirically show that our approach improves over prior work that leverages similar supervision, and in fact performs competitively to methods that use stronger supervision. Finally, as our method enables learning with limited supervision, we qualitatively demonstrate its applicability over a set of about 30 object categories.

研究の動機と目的

• カテゴリレベルの画像コレクションと近似されたインスタンスセグメンテーションのみを用いて、単一のRGB画像から3D形状、テクスチャ、カメラポーズを推論することを目的とする。
• 3Dアノテーション、2Dキーポイント、ポーズラベルといった強力な教師信号（例：3Dラベル）を必要としない3D再構成を実現することを目的とする。
• ポーズや変形といったインスタンスレベルの変異を捉えるカテゴリ固有の暗黙的形状空間を学習することを目的とする。
• 直接的な教師信号を用いずに、幾何的整合性と再投影損失を通じて監視信号を導出することを目的とする。
• 野生の画像と弱いアノテーションのみを活用することで、多様なオブジェクトカテゴリへのスケーラブルな3D再構成を実現することを目的とする。

提案手法

• 球体を変形して予測メッシュを生成する画像条件付き暗黙的関数として3D形状を表現し、同時に学習されたテクスチャ予測を実装する。
• レンダリングされた予測と入力画像の整合性を、微分可能レンダリング損失によって強制する。
• 局所的なピクセルから表面へのマッピングとグローバルな3D形状予測の間の幾何的サイクル整合性損失を導入し、幾何的忠実度を向上させる。
• カテゴリごとに1つの3Dテンプレートを初期化として用い、画像コレクションからのエンドツーエンド学習によって微調整する。
• 再投影精度、境界整合性、剛体性の事前知識を組み合わせたマルチコンポonent損失を最適化することで、一般化性能を向上させる。
• 前景マスクからの弱い教師信号を活用し、トレーニング中にカメラポーズを暗黙的に推定する。

実験結果

リサーチクエスチョン

• RQ1 アノテーションのない画像コレクションと前景マスクのみを教師信号として用いる場合、3D形状、テクスチャ、カメラポーズを正確に推定できるか？
• RQ2 直接的な教師信号なしに、局所的なピクセルから表面へのマッピングとグローバルな3D予測の間の幾何的整合性をどのように活用し、3D再構成の品質を向上させられるか？
• RQ3 弱い教師信号のみを用いて、ポーズや変形といったインスタンスレベルの変異を、暗黙的形状表現がどの程度捉えることができるか？
• RQ4 2Dキーポイントや3Dテンプレートといったより強い教師信号を用いる先行手法と比較して、本手法の性能はどの程度か？
• RQ5 本手法は、3Dデータが一切アノテートされていないオブジェクトカテゴリに対しても、一般化できるか？

主な発見

• PASCAL3D+において、航空機では平均IoUが0.44、車では0.66を達成し、強力な教師信号を用いる手法と同等またはそれを上回る3D再構成性能を示した。
• セマンティックキーポイントの再投影評価では、PCK-Pが54.1%、PCK-Tが41.3%を達成し、先行の弱教師付き手法を上回った。
• 除去実験では、幾何的整合性損失（Lgcc）を削除するとPCK-Pが50.5%に低下し、その重要性が確認された。
• 境界整合性と剛体性の事前知識が、特に複雑な形状や隠蔽領域の処理において、顕著に質の高い結果をもたらした。
• ImageNetから自動的にPointRendで生成されたマスクのみを用いて、30種類の多様なカテゴリに効果的に一般化され、ボディシェイプやヘッドポーズの変異を捉えた。
• 直接的な教師信号がないにもかかわらず、可視領域および非可視領域に意味的なテクスチャを生成し、強力な暗黙的テクスチャ学習の能力を示した。