[論文レビュー] 3D Reconstruction of Simple Objects from A Single View Silhouette Image

Xinhan Di, P. L. Yu|arXiv (Cornell University)|Jan 17, 2017

Advanced Vision and Imaging参考文献 26被引用数 8

ひとこと要約

本論文は、RGBテクスチャや追加の監視情報に依存せずに、1枚のシルエット画像からカテゴリ固有の3D再構成を実現するスタックド階層的ディープラーニングフレームワークを提案する。エンドツーエンドの学習戦略と粗い3Dボリュームセグメンテーションのためのリピートレイヤーを採用することで、IoUが3D-R2N2よりも最大0.1高い結果を達成し、球面上で広範かつランダムに配置された視点においても高い頑健性を示し、従来手法に比して困難な1枚のシルエット画像からの再構成性能を上回る。

ABSTRACT

While recent deep neural networks have achieved promising results for 3D reconstruction from a single-view image, these rely on the availability of RGB textures in images and extra information as supervision. In this work, we propose novel stacked hierarchical networks and an end to end training strategy to tackle a more challenging task for the first time, 3D reconstruction from a single-view 2D silhouette image. We demonstrate that our model is able to conduct 3D reconstruction from a single-view silhouette image both qualitatively and quantitatively. Evaluation is performed using Shapenet for the single-view reconstruction and results are presented in comparison with a single network, to highlight the improvements obtained with the proposed stacked networks and the end to end training strategy. Furthermore, 3D re- construction in forms of IoU is compared with the state of art 3D reconstruction from a single-view RGB image, and the proposed model achieves higher IoU than the state of art of reconstruction from a single view RGB image.

研究の動機と目的

• RGBテクスチャが欠落していることや高い曖昧性を伴う1枚のシルエット画像からの3D再構成の課題に対処すること。
• シルエット入力に特化したディープラーニングの事前知識を活用することで、RGBテクスチャや追加の監視情報への依存を低減すること。
• 円形や部分的な球面に限定されない、球面上で広範かつランダムに配置された1枚の視点からの再構成に耐性を持つ3D再構成を可能にすること。
• エンドツーエンドの学習戦略を採用した、新たなスタックド階層的ネットワークアーキテクチャの開発。
• RGB画像で学習された手法を上回る、カテゴリ固有の3D再構成におけるIoUの最先端性能を実証すること。

提案手法

• リピートレイヤーが単純な2Dから3Dボリュームへのコピーを実行し、1枚の2Dシルエットから粗い3Dセグメンテーションを生成する。
• スタックド階層的ネットワークアーキテクチャは、複数の単一ネットワークを組み合わせて、段階的に3D形状再構成を精緻化する。
• エンドツーエンドの学習戦略により、スタックドネットワーク全体を通して勾配の流れを制御し、事前学習や別段階の学習を必要とせず、最終ネットワークの誤差を最小化する。
• この学習戦略は、各層ごとの誤差を統合的に最小化するのではなく、最終ネットワーク出力に特化した独自の誤差最小化基準を適用する。
• フレームワークは、各オブジェクトを取り囲む球面上からランダムに抽出された3960枚の1枚の視点からのシルエット画像で学習される。
• 訓練中に回転・平行移動の曖昧性を避けるために、真値の3D形状は位置と方向が固定されている。

実験結果

リサーチクエスチョン

• RQ1 RGBテクスチャや追加の監視情報が欠落している1枚のバイナリシルエット画像から、ディープラーニングモデルが高品質な3D再構成を達成できるか？
• RQ2 エンドツーエンドの学習を採用したスタックド階層的ネットワークアーキテクチャは、シルエットベースの3D再構成において単一ネットワークを上回る性能を示せるか？
• RQ3 モデルは、円や部分的な球面に限定されず、球面上でランダムに配置された1枚の視点からのシルエットに一般化できるか？
• RQ4 本手法は、1枚のRGB画像からの最先端の3D再構成手法と比較して、IoUの観点で定量的に優れているか？
• RQ5 再構成品質の向上は、再構成が困難な、難しいシルエット視点においても一貫して見られるか？

主な発見

• スタックド階層的ネットワークは、3D-R2N2がRGB画像で学習した結果を上回り、自動車では0.1、飛行機では0.07のIoU向上を達成した。
• 3960枚のランダムに配置された1枚の視点からのシルエット画像に対して、自動車再構成の74.87%、飛行機再構成の52.83%が高いIoUを達成しており、優れた一般化性能を示している。
• 単一ネットワークと比較して、困難な1枚のシルエット画像からの再構成において顕著に高いIoUを示し、すべてのテストケースで一貫した改善が見られた。
• IoU測定の標準誤差は約10^-4であり、結果の統計的信頼性が非常に高いことを確認した。
• 本手法は、1枚のシルエット画像からの3D再構成において最先端の性能を達成しており、RGBデータで学習された手法を上回るIoUを達成した。
• 本フレームワークは、球面上で広範かつランダムに配置された視点からの3D形状再構成に成功した。これは、従来のネットワークフレームワークでは実証されていなかった能力である。