[論文レビュー] SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth Sampling

Chenjian Gao, Qian Yu+3 more|arXiv (Cornell University)|Aug 14, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

SketchSamplerは、密度マッププロキシを介した視点依存の深度サンプリングを活用することで、疎なスケッチと密な3Dポイントクラウドの間のドメインギャップを埋める、新しいスケッチベースの3D再構成手法を提案する。まずスケッチを情報量の多い2次元表現に変換し、その後2段階の確率的サンプリングプロセス（まず学習された密度マップから2次元座標を回復し、次にそのレイに沿って深度値を予測する）を実行することで、忠実度と詳細の保持の両面で最先端の性能を達成し、定量的および定性的な評価の両方で既存のベースラインを上回る。

ABSTRACT

Reconstructing a 3D shape based on a single sketch image is challenging due to the large domain gap between a sparse, irregular sketch and a regular, dense 3D shape. Existing works try to employ the global feature extracted from sketch to directly predict the 3D coordinates, but they usually suffer from losing fine details that are not faithful to the input sketch. Through analyzing the 3D-to-2D projection process, we notice that the density map that characterizes the distribution of 2D point clouds (i.e., the probability of points projected at each location of the projection plane) can be used as a proxy to facilitate the reconstruction process. To this end, we first translate a sketch via an image translation network to a more informative 2D representation that can be used to generate a density map. Next, a 3D point cloud is reconstructed via a two-stage probabilistic sampling process: first recovering the 2D points (i.e., the x and y coordinates) by sampling the density map; and then predicting the depth (i.e., the z coordinate) by sampling the depth values at the ray determined by each 2D point. Extensive experiments are conducted, and both quantitative and qualitative results show that our proposed approach significantly outperforms other baseline methods.

研究の動機と目的

• 単一ビュー3D再構成において、疎で不規則なスケッチと、密で規則的な3D形状との間の大きなドメインギャップに対処すること。
• 情報損失により細部を保持できないグローバル特徴ベースの手法の限界を克服すること。
• スケッチと2次元ポイントクラウド密度マップの間の空間的対応関係を活用して再構成の忠実度を向上させること。
• 2次元座標回復と深度予測を分離する確率的モデリングを用いた2段階のサンプリングフレームワークを開発すること。
• スケッチ翻訳モジュールを導入して欠落したスケッチ情報を補完しながらも空間的構造を保持することで、一般化性とロバスト性を向上させること。

提案手法

• 入力スケッチをより情報量の多い2次元表現に変換するためのCNNベースのエンコーダ・デコーダネットワーク（Sketch Translator）を用いることで、特徴の完全性を向上させる。
• 翻訳されたスケッチから2次元密度マップを予測し、各ピクセル値はその位置に3Dポイントが画像面上に投影される確率を表す。
• 予測された密度マップから2次元座標（x, y）の確率的サンプリングを実行し、2次元ポイントクラウドプロキシを生成する。
• 各サンプリングされた（x, y）位置に対して、条件付き分布P(Z|x, y, I)を用いてその対応するレイに沿って深度（z）値をサンプリングし、隠蔽と深度順序をモデル化する。
• 3次元ポイントクラウド生成を2段階のサンプリングプロセスとしてモデル化する：まず密度マップからP(X, Y|I)を、次に深度予測のためのP(Z|x, y, I)を実行する。
• Chamfer Distance、Earth Mover’s Distance、FPDを最適化する点群再構成の監督のもと、合成データセット（Synthetic-LineDrawing）上でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 スケッチから導出された密度マップが、スケッチベースの3D再構成におけるドメインギャップを低減する有効なプロキシとして機能するか？
• RQ2 まず密度マップから2次元座標を回復し、次に深度を予測する2段階のサンプリング戦略は、直接3次元座標を予測する手法よりも再構成忠実度を向上させるか？
• RQ3 スケッチ翻訳モジュールは、空間的アライメントを保持しながら欠落した構造的詳細を回復するのにどの程度有効か？
• RQ4 密度マップガイダンスによるサンプリングは、前方領域における均一な点分布を仮定する均一サンプリングに比べて、空間的に不均一な3次元ポイント分布をどの程度うまくモデル化できるか？
• RQ5 提案手法は、学習分布外の未観測オブジェクトカテゴリや非剛体形状に対しても一般化可能か？

主な発見

• SketchSamplerはSynthetic-LineDrawingデータセットで最先端の性能を達成し、Chamfer Distanceが0.982 × 10⁻³、EMDが4.534 × 10⁻²、FPDが0.580 × 10、Vox-IOUが0.578を記録した。
• アブレーションスタディにより、スケッチトランスレーターが性能向上に寄与していることが確認された：デコーダーを除去するとCDが1.193 × 10⁻³に低下し、強化された特徴表現の重要性が示された。
• 密度ガイドドサンプリングは均一サンプリングを上回り、より低いFPD（0.580 vs. 0.841）と優れた形状忠実度を達成した。
• 真値密度マップを用いたバリアント（Ours_real）は最良の結果（CD: 0.907 × 10⁻³、FPD: 0.562 × 10）を達成し、予測された密度マップが実際の分布の強力なプロキシであることを裏付けた。
• モデルは未学習のカテゴリ、特にSketchyおよびTU-Berlinデータセットの非剛体オブジェクトに対しても、微調整なしで妥当で詳細な3D再構成を生成し、良好な一般化性能を示した。
• 定性的な結果から、SketchSamplerは、変形や不正確さを含むスケッチであっても、スケッチの忠実度を優先し、カテゴリ固有の形状事前知識を無視することで、細部を忠実に保持していることが確認された。