[論文レビュー] Sketch2Model: View-Aware 3D Modeling from Single Free-Hand Sketches

Song–Hai Zhang, Yuan-Chen Guo+1 more|arXiv (Cornell University)|May 14, 2021

3D Shape Modeling and Analysis参考文献 40被引用数 5

ひとこと要約

本論文は、予測されたまたはユーザーが指定した視点を明示的に条件付けすることで、1枚の自由なスケッチから高品質な3Dメッシュを生成する視点に配慮した3D再構成手法Sketch2Modelを提案する。視点と形状の特徴を分離し、ランダムな視点を用いた強化学習を採用することで、スケッチ解釈の曖昧さを低減し、特に描画が粗いスケッチにおいて優れた再構成品質とユーザーの意図との整合性を達成する。

ABSTRACT

We investigate the problem of generating 3D meshes from single free-hand sketches, aiming at fast 3D modeling for novice users. It can be regarded as a single-view reconstruction problem, but with unique challenges, brought by the variation and conciseness of sketches. Ambiguities in poorly-drawn sketches could make it hard to determine how the sketched object is posed. In this paper, we address the importance of viewpoint specification for overcoming such ambiguities, and propose a novel view-aware generation approach. By explicitly conditioning the generation process on a given viewpoint, our method can generate plausible shapes automatically with predicted viewpoints, or with specified viewpoints to help users better express their intentions. Extensive evaluations on various datasets demonstrate the effectiveness of our view-aware design in solving sketch ambiguities and improving reconstruction quality.

研究の動機と目的

• 単一の自由なスケッチのみを用いて、初心者ユーザーが素早く直感的に3Dモデリングを可能にする。
• スケッチ品質の悪さ、幾何的歪み、視覚的手がかりの欠如によって引き起こされるスケッチベース3D再構成の曖昧さに対処する。
• 視点情報に明示的に条件づけることで、再構成品質とユーザーの意図の忠実度を向上させる。
• 訓練時に見られなかった実世界の手書きスケッチ、特に分布外のスケッチに対しても一般化しやすい手法を開発する。
• 合成訓練スケッチと実世界の自由なスケッチとの間のドメインギャップを、ドメイン適応を用いて埋める。

提案手法

• 視点コードと形状コードに分離された潜在特徴をもつ、分離型エンコーダデコーダアーキテクチャを採用する。
• 視点オートエンコーダを訓練し、視点を潜在視点空間にマッピングすることで、視点コードにのみ視点情報が符号化されることを保証する。
• ランダムな視点を用いた強化学習を導入し、訓練中にデコーダに真値の視点に加えてランダムにサンプリングされた視点を入力することで、視点条件付き生成を強制する。
• 生成された3Dメッシュの現実性と構造的整合性を向上させるために、形状識別器を用いる。
• 訓練の安定化と生成品質の向上を図るため、マルチスケールのプログレッシブトレーニングを適用する。
• ドメイン識別器を用いて、合成訓練スケッチとSketchyやTu-Berlinなどのデータセットからの実世界の手書きスケッチを一致させるドメイン適応を適用する。

Figure 1: Ambiguities in free-hand sketches. It could be hard to determine how the sketched object is posed.

実験結果

リサーチクエスチョン

• RQ1 視点の指定が、1枚の自由なスケッチからの3D再構成における曖昧さを顕著に低減できるか？
• RQ2 生成プロセスを視点に条件づけることで、再構成品質とユーザーの意図との整合性がどのように向上するか？
• RQ3 視点に配慮したアーキテクチャが、訓練時に見られなかった実世界の粗いスケッチ、特に分布外のスケッチにどの程度一般化できるか？
• RQ4 合成スケッチから視点条件付き3D生成を学習するための最適な訓練戦略は何か？
• RQ5 ドメイン適応は、合成スケッチと実世界の手書きスケッチとのギャップをどの程度効果的に埋めることができるか？

主な発見

• ShapeNet-Syntheticデータセットにおいて、Sketch2Modelはベースラインを上回るボクセルIoUスコアを達成し、特に真値の視点を使用した場合に顕著に、視点条件づけの重要性が示された。
• アブレーションスタディの結果、ランダムな視点を用いた強化学習と形状識別器が、予測された視点および真値の視点の両方で性能を顕著に向上させた。
• ドメイン適応を適用することで、実世界のShapeNet-Sketchデータセットにおける性能が顕著に向上し、特に航空機、自動車、ソファのカテゴリで顕著であった。
• SketchyおよびTu-Berlinデータセットにおける定性的な結果から、Sketch2Modelは入力スケッチに沿った境界の整合性が高く、より現実的なメッシュを生成することが確認された。
• 歪んだ航空機やテーブルのような分布外の形状に対しても、スケッチの整合性と形状の現実性のバランスを効果的に保った。
• 投影されたシルエット比較から、視点に配慮した生成は、視点に依存しない手法よりも、スケッチからメッシュへの対応がより正確であることが確認された。

Figure 2: Network architecture of (a) baseline methods [ 20 , 22 ] and (b) our method. Purple and blue blocks denote inputs and trainable parameters respectively. $\mathcal{R}$ is the differentiable rendering module. Our method extends the encoder-decoder model by decomposing image features into sha