[論文レビュー] Im2Struct: Recovering 3D Shape Structure from a Single RGB Image

Chengjie Niu, Jun Li+1 more|arXiv (Cornell University)|Apr 16, 2018

Advanced Vision and Imaging参考文献 22被引用数 11

ひとこと要約

本論文では、1枚のRGB画像から部分の接続性や対称性を含む詳細な3次元直方体ベースの形状構造を回復する深層学習フレームワーク、Im2Structを提案する。2段階のネットワークを採用：まず、オブジェクト構造を強調するマルチスケール畳み込み構造マスクネットワークを用い、その後に画像特徴を統合して妥当な3次元直方体の階層を再構築する再帰的ニューラルネットワーク（RvNN）デコーダーを適用する。本手法は、3次元部分構造回復において、最先端の忠実性と構造的妥当性を達成した。

ABSTRACT

We propose to recover 3D shape structures from single RGB images, where structure refers to shape parts represented by cuboids and part relations encompassing connectivity and symmetry. Given a single 2D image with an object depicted, our goal is automatically recover a cuboid structure of the object parts as well as their mutual relations. We develop a convolutional-recursive auto-encoder comprised of structure parsing of a 2D image followed by structure recovering of a cuboid hierarchy. The encoder is achieved by a multi-scale convolutional network trained with the task of shape contour estimation, thereby learning to discern object structures in various forms and scales. The decoder fuses the features of the structure parsing network and the original image, and recursively decodes a hierarchy of cuboids. Since the decoder network is learned to recover part relations including connectivity and symmetry explicitly, the plausibility and generality of part structure recovery can be ensured. The two networks are jointly trained using the training data of contour-mask and cuboid structure pairs. Such pairs are generated by rendering stock 3D CAD models coming with part segmentation. Our method achieves unprecedentedly faithful and detailed recovery of diverse 3D part structures from single-view 2D images. We demonstrate two applications of our method including structure-guided completion of 3D volumes reconstructed from single-view images and structure-aware interactive editing of 2D images.

研究の動機と目的

• 単一視点3次元再構成における3次元形状構造回復の欠如、特にボリューム出力におけるトポロジー的および構成的情報の喪失を解消すること。
• 2次元画像から直方体とその関係（接続性、対称性）を含む3次元部分構造を直接推論可能にする。
• 深層学習ベースの2次元から3次元マッピングに構造的推論を統合することで、3次元形状再構築の忠実性と妥当性を向上させること。
• 構造を意識した3次元ボリュームの精錬やインタラクティブな画像編集を支援するため、明示的な3次元構造的事前知識を提供すること。

提案手法

• オブジェクト構造を強調し、背景やテクスチャを抑制するため、スキップ接続を備えたマルチスケール畳み込みニューラルネットワーク（CNN）を構造マスクネットワークとして用いる。
• 構造回復ネットワークは、入力画像と構造マスクからの特徴を統合し、再帰的ニューラルネットワーク（RvNN）を用いて階層的直方体構造へと再帰的にデコードする。
• RvNNデコーダーは、接続性や反転対称性を含む部品関係を明示的にモデリングするように学習され、幾何学的に妥当な3次元構造を保証する。
• 2つのネットワークは、ペアドトレーニングデータを用いて共同で学習される：レンダリングされたCADモデルから得られた真値の輪郭マスクと、対応する3次元直方体構造アノテーション。
• トレーニングデータは、ストック3次元CADモデルをレンダリングすることで合成され、輪郭マスクと3次元直方体構造のペアを監視に用いる。
• 後処理にはカメラビュー推定と、3次元直方体を2次元空間に投影する処理が含まれ、入力画像との整合性を保ちながら構造を意識した編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、1枚の2次元RGB画像から、対称性や接続性といった部品関係を含む詳細な3次元形状構造を回復できるか？
• RQ2 構造的推論（例：対称性や接続性）を神経ネットワーク内で明示的にモデリングすることで、3次元部分構造回復の妥当性をどのように向上させられるか？
• RQ3 構造を意識した3次元再構築は、単一視点画像からのボリューム3次元再構築の品質をどの程度向上させられるか？
• RQ4 回復された3次元構造は、従来手法と比較して、より直感的かつ意味的に一貫性のある2次元画像編集を可能にするか？

主な発見

• 本手法は、単一視点2次元画像からの3次元部分構造回復において、類例なき忠実性と詳細さを達成し、構造的正確性と妥当性の面で先行手法を上回った。
• VGG-19バックボーンを用いた構造マスクネットワークは、輪郭マスク誤差が0.0846、δ < 0.1における構造検出精度が78.5%を達成し、構造局所化において優れた性能を示した。
• 構造回復ネットワークは、接続性と反転対称性の両方を効果的に推論した。チェア構造の例では、赤矢印が回復された対称的な脚ペアを示している。
• ボリューム精錬の応用では、回復された対称関係が3D-GAN出力における欠落したボクセルを補完し、構造的対称性を回復させ、再構築品質を向上させた。
• 本手法は自動的に3次元直方体プロキシを生成することで、構造を意識した2次元画像編集を可能にした。これにより、構造的一致性を保ちつつ妥当な形状変形が可能になった。
• 本フレームワークは、単一RGB画像から3次元形状構造と部品関係を同時に回復する初の手法であり、構造を意識した3次元再構築の新たなベンチマークを確立した。