[論文レビュー] 3D Shape Reconstruction from Sketches via Multi-view Convolutional Networks

Zhaoliang Lun, Matheus Gadelha+3 more|arXiv (Cornell University)|Jul 20, 2017

3D Shape Modeling and Analysis参考文献 52被引用数 30

ひとこと要約

本論文では、複数の視点からの2次元の線画から3次元形状を再構築するための深層学習手法を提案する。マルチビュー畳み込みエンコーダ・デコーダネットワークを用い、複数の視点から得た深度マップと法線マップを予測し、エネルギー最小化によりそれらを統合して高解像度の点群を再構築し、最終的にポリゴンメッシュを出力する。本手法はボクセルベースやベースライン手法と比較して、より優れた再構築精度、より良いトポロジー保存、およびより高い表面解像度を達成しており、微調整を必要とせず、人間が描いたスケッチに対しても良好に一般化する。

ABSTRACT

We propose a method for reconstructing 3D shapes from 2D sketches in the form of line drawings. Our method takes as input a single sketch, or multiple sketches, and outputs a dense point cloud representing a 3D reconstruction of the input sketch(es). The point cloud is then converted into a polygon mesh. At the heart of our method lies a deep, encoder-decoder network. The encoder converts the sketch into a compact representation encoding shape information. The decoder converts this representation into depth and normal maps capturing the underlying surface from several output viewpoints. The multi-view maps are then consolidated into a 3D point cloud by solving an optimization problem that fuses depth and normals across all viewpoints. Based on our experiments, compared to other methods, such as volumetric networks, our architecture offers several advantages, including more faithful reconstruction, higher output surface resolution, better preservation of topology and shape structure.

研究の動機と目的

• 芸術的デザインにおいて一般的な、疎で近似的またはノイズの多い2次元線画から正確な3次元形状を再構築する課題に対処すること。
• ボクセルベースの3次元再構築における解像度の低さやスケーラビリティの欠如といった制限を克服し、ビューに基づく表面表現を用いること。
• 合成データで訓練された深層学習アーキテクチャを用いて、1視点または複数視点のスケッチから高品質な3次元再構築を可能にすること。
• 入力の視点間で一貫性や正確性に欠ける可能性のある人間が描いたスケッチに対しても一般化できること。
• アーティストによる微調整に適した3次元プロキシを生成する、ロバストでエンドツーエンドのフレームワークを提供すること。

提案手法

• 入力スケッチを処理するための深層エンコーダ・デコーダ畳み込みニューラルネットワークが、形状情報をエンコードしたコンactな潜在表現を生成する。
• デコーダが複数の仮想視点からのマルチビュー深度マップおよび表面法線マップを予測し、高解像度の幾何的監視を可能にする。
• エネルギー最小化フレームワークにより、すべての視点からの深度および法線予測を統合し、密な3次元点群を再構築する。
• 点群が入力の輪郭に整合するように、ポリゴンメッシュに変換し、必要に応じて後処理を施す。
• 人間がアノテートした線画を必要とせず、3次元形状の自動生成された合成スケッチでネットワークを訓練する。
• 訓練済みのエンコーダは、モデルコレクションからのスケッチベース3次元形状検索用の記述子も生成する。

実験結果

リサーチクエスチョン

• RQ1 正確さや一貫性に欠ける入力を必要とせず、1視点または複数視点の2次元線画から深層学習モデルが正確な3次元形状を再構築できるか？
• RQ2 深度マップと法線マップを用いたビューに基づく表現は、ボクセルベースの表現と比較して再構築品質および解像度においてどのように異なるか？
• RQ3 合成スケッチで訓練されたモデルが、ノイズや一貫性の欠如を示す実際の人間のスケッチに対し、どの程度一般化できるか？
• RQ4 複数視点の幾何的予測の統合は、1視点またはボリュームメッシュ手法と比較して、より優れたトポロジーおよび形状構造の保存をもたらすか？
• RQ5 提案手法は、最近傍検索を含むベースライン手法と比較して、入力スケッチにより人間の知覚的に近い3次元再構築を生成するか？

主な発見

• 合成スケッチおよび人間が描いたスケッチの両方において、競合手法と比較して本手法はチャームファーディスタンスおよびハウスドルフ距離が顕著に低く、幾何的精度が優れていることが示された。
• キャラクターデータセットでは、本手法はすべての評価指標ですべてのベースラインを上回り、ボクセルのインターセクションオーバーイオン（IoU）および深度・法線マップの誤差においても優れた性能を示した。
• 人工物データセット（航空機および椅子）では、本手法はすべての評価指標で最高の性能を達成し、統計的に有意な改善が得られた。
• アマゾンMechanical Turkを用いたユーザースタディの結果、参加者が本手法の再構築結果を、最近傍検索を含むすべての競合手法よりも好む傾向が確認された。
• 本手法は人間が描いたスケッチに対しても良好に一般化し、入力の輪郭が近似的または一貫性がなくても、整合性のある3次元形状を生成できる。
• ネットワークアーキテクチャにU-Netのスキップ接続を組み込むことで、特に人工物に対して性能が顕著に向上した。これは、本タスクにおいてスキップ接続の重要性を示している。