[論文レビュー] Learning to Generate and Reconstruct 3D Meshes with only 2D Supervision

Paul Henderson, Vittorio Ferrari|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Jul 24, 2018

3D Shape Modeling and Analysis参考文献 24被引用数 30

ひとこと要約

本論文は、3Dの教師信号、ポーズアノテーション、複数視点を一切必要とせずに、2D画像からのみ3Dメッシュ形状の生成と再構築を実現する統合的ディープラーニングフレームワークを提示する。方向性のライティングを用いた微分可能レンダリングにより、シェーディングの手がかりを活用することで、再構築と生成性能を向上させ、ボクセル表現ではなくメッシュ表現を用いることで、より視覚的にリアルな結果を達成し、3D教師付き手法と同等の最先端の性能を実現した。

ABSTRACT

We present a unified framework tackling two problems: class-specific 3D reconstruction from a single image, and generation of new 3D shape samples. These tasks have received considerable attention recently; however, existing approaches rely on 3D supervision, annotation of 2D images with keypoints or poses, and/or training with multiple views of each object instance. Our framework is very general: it can be trained in similar settings to these existing approaches, while also supporting weaker supervision scenarios. Importantly, it can be trained purely from 2D images, without ground-truth pose annotations, and with a single view per instance. We employ meshes as an output representation, instead of voxels used in most prior work. This allows us to exploit shading information during training, which previous 2D-supervised methods cannot. Thus, our method can learn to generate and reconstruct concave object classes. We evaluate our approach on synthetic data in various settings, showing that (i) it learns to disentangle shape from pose; (ii) using shading in the loss improves performance; (iii) our model is comparable or superior to state-of-the-art voxel-based approaches on quantitative metrics, while producing results that are visually more pleasing; (iv) it still performs well when given supervision weaker than in prior works.

研究の動機と目的

• 2Dのアノテーションなし画像のみを用いて3Dメッシュの生成と再構築に挑む課題を解決すること。
• 従来の手法が要求する強い教師信号を緩和し、1オブジェクトあたり1視点の画像からの学習を可能にすること。
• 微分可能レンダリングを介して、トレーニング損失にシェーディング情報を統合し、一般化性能と形状の詳細を向上させること。
• メッシュベースの表現がボクセルベースのものよりも視覚的品質と幾何的忠実度において優れていることを示すこと。
• 2D画像からのみ、エンドツーエンドで分離可能な形状とポーズの因子を学習できること。

提案手法

• 微分可能レンダラーを用い、3Dメッシュ再構築から照らされたシェーディング付きのRGB画像を生成することで、シェーディングの手がかりを通じた逆誤差伝搬を可能にする。
• 予測画像と真値画像の画素単位の差分により損失を計算する、変分オートエンコーダーに類似したアーキテクチャをエンドツーエンドで訓練する。
• トレーニング中に方向性のライティングを用いることで、豊富なシェーディング信号を提供し、その信号を逆伝播させることでメッシュ最適化を改善する。
• 形状とポーズが分離された潜在空間を学習し、再構築と無条件生成の両方を可能にする。
• ボクセルではなくメッシュを出力表現として用いることで、任意の表面の向きを表現でき、凹形状の捉え込みが向上する。
• 弱教師ありの設定（1視点、アノテーションなしの画像）やポーズラベルなしの設定を含む、複数の教師信号設定をサポートする。

Figure 1: Given only unannotated 2D images as training data, our model learns (1) to reconstruct and predict the pose of 3D meshes from a single test image, and (2) to generate new 3D mesh samples. It is trained end-to-end (orange dashed arrow) to reconstruct input images, via a differentiable rende

実験結果

リサーチクエスチョン

• RQ1 2D画像のみを用いて、3Dの教師信号やポーズアノテーションなしに3Dメッシュ形状の再構築と生成を学習できるか？
• RQ2 トレーニング損失に方向性ライティングによるシェーディング手がかりを組み込むことで、シルエットベースの教師信号と比較して、3D再構築と生成性能が向上するか？
• RQ3 2D教師信号のみで学習した場合に、メッシュベースの表現がボクセルベースのものよりも視覚的品質と幾何的正確性において優れているか？
• RQ4 2D画像ペairなしの状態から、エンドツーエンドで分離可能な形状とポーズ因子をどれほど正確に学習できるか？
• RQ5 ポーズアノテーションなしの1視点学習といった、徐々に弱くなる教師信号設定下でも、モデルの性能はどの程度維持されるか？

主な発見

• モデルは定量的指標において最先端の性能を達成しており、シェーディングを損失に組み込むことで、深度教師付きで学習した手法でさえも上回る。
• 損失に色付きの方向性ライティングを用いることで、白色のライティングやシルエットのみの教師信号よりも再構築精度が向上し、シェーディング手がかりの価値が示された。
• トレーニング時に真値ポーズラベルが存在しないにもかかわらず、ポーズ予測の精度が高く、回転誤差が小さいことから、形状とポーズの因子が正しく分離されていることが裏付けられた。
• トレーニングおよびテスト時に複数視点を用いることで性能が顕著に向上し、モデルがマルチビューの一貫性を効果的に活用していることが示された。
• 従来のボクセルベースのアプローチよりも視覚的に魅力的な結果を生成し、特に凹形状や複雑な表面の詳細を捉える点で優れている。
• 3D教師信号が完全にない状態でも、シェーディングを損失に含めることで、完全な3D教師付きで学習した最先端の手法と同等の再構築品質を達成した。

Figure 2: Lighting : Coloured directional lighting (a) provides strong cues for surface orientation; white light (b) provides less information; silhouettes (c) provide none at all. Our model is able to exploit the shading information from coloured or white lighting. Mesh parameterisations : ortho-bl