[論文レビュー] Single-view Object Shape Reconstruction Using Deep Shape Prior and Silhouette

Kejie Li, Ravi Garg+2 more|arXiv (Cornell University)|Nov 29, 2018

Advanced Vision and Imaging参考文献 67被引用数 5

ひとこと要約

本論文は、ガウス・ミックスチャネル・モデル（GMM）を用いて確率的形状事前分布としてモデル化された潜在形状空間を学習する深層オートエンコーダを用いた1枚画像からの3D形状再構成手法を提案する。推論時、実画像のセマンティックセグメンテーションネットワークからのシルエット整合性とGMM事前分布を統合して形状とポーズを同時に最適化することで、エンドツーエンドの学習や合成データを一切用いずに最先端の性能を達成しており、深層学習ベースの手法と同等の性能を示す。明示的な形状事前分布が深層学習ベースの手法に匹敵しうることを示している。

ABSTRACT

3D shape reconstruction from a single image is a highly ill-posed problem. Modern deep learning based systems try to solve this problem by learning an end-to-end mapping from image to shape via a deep network. In this paper, we aim to solve this problem via an online optimization framework inspired by traditional methods. Our framework employs a deep autoencoder to learn a set of latent codes of 3D object shapes, which are fitted by a probabilistic shape prior using Gaussian Mixture Model (GMM). At inference, the shape and pose are jointly optimized guided by both image cues and deep shape prior without relying on an initialization from any trained deep nets. Surprisingly, our method achieves comparable performance to state-of-the-art methods even without training an end-to-end network, which shows a promising step in this direction.

研究の動機と目的

• 1枚画像からの3D形状再構成の不適切な定式化を、画像ベースの制約と深層形状事前分布を統合することで解決すること。
• 合成データではなく、市販のセグメンテーションネットワークから得た実画像のシルエットを用いることで、3D再構成におけるドメインギャップを低減すること。
• 高性能な1枚画像からの再構成に、エンドツーエンドの深層学習が必須であるかどうかを検証すること。
• 推論時に幾何的整合性（シルエットと形状事前分布）を強制する、透明性の高い最適化ベースのフレームワークを構築すること。
• 深層潜在空間における学習済みGMM事前分布が、現実的で物体に類似した解に形状探索を制約できることを実証すること。

提案手法

• 3D形状データセット上でトレーニングされた深層ポイントクラウドオートエンコーダにより、コンactかつ分離可能な潜在表現を学習する。
• オートエンコーダの潜在コードをガウス・ミックスチャネル・モデル（GMM）でモデル化し、潜在空間上に確率的形状事前分布を構築する。
• 推論時、シルエット誤差（L_sil）とGMM尤度（L_shape）を最小化するオンライン最適化フレームワークにより、潜在コードとオブジェクトポーズを同時に最適化する。
• 実画像のシルエットは、事前学習済みのセマンティックセグメンテーションネットワーク（例：MSCOCOベース）から取得し、合成データとのドメインシフトを回避する。
• 最適化目的関数は、シルエット整合性（L_sil）と形状事前分布尤度（L_shape）を組み合わせており、ロバストで現実的な再構成を可能にする。
• 初期化はGMM成分の平均潜在コードを用いることで、事前学習済みの画像から形状への変換ネットワークへの依存を回避する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層ネットワークに依存しない非エンドツーエンドの最適化ベース手法が、合成データやエンドツーエンド学習なしに競争力ある3D再構成性能を達成できるか？
• RQ2 学習済みGMMベースの形状事前分布は、ノイズの多いシルエットに過適合するのを防ぎ、再構成品質をどの程度向上させるか？
• RQ3 市販のセグメンテーションモデルから得た実画像シルエットは、1枚画像からの3D再構成において合成教師信号を効果的に置き換えられるか？
• RQ4 実画像の学習なしに、シルエット整合性と形状事前分布の組み合わせが、幾何学的に妥当な形状をどのように強制するか？
• RQ5 GMM事前分布で正則化された深層オートエンコーダが学習する潜在空間は、意味的かつ分離可能な物体構造を適切に捉えているか？

主な発見

• 本手法は、合成データやエンドツーエンド学習を一切使用せず、実画像上で最先端の性能を達成しており、多数の専用深層学習モデルを上回っている。
• Pix3Dベンチマークにおいて、椅子カテゴリでチェンファーディスタンス（CD）が0.116、アース・モーバー距離（EMD）が0.125を達成し、DRC や MarrNet などの手法を上回っている。
• アブレーションスタディの結果、シルエット整合性のみを用いると、過適合により不自然な形状が得られるが、GMM形状事前分布を追加することで再構成品質が顕著に向上する。
• GMM事前分布は、潜在空間における非物理的形状を効果的に抑制しており、低尤度領域（図4の青色領域）は不妥当な形状補間に対応する。
• GMM成分の平均間の線形補間（例：4本脚の椅子とスウィベルチェア）は、低GMM尤度を示し、事前分布が構造的妥当性を強制していることを確認する。
• ノイズの多いシルエットに対しても本手法はロバストであり、シルエット整合性と形状事前分布尤度の二重制約のおかげで、高品質な再構成を維持する。