[論文レビュー] Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images

Nanyang Wang, Yinda Zhang+4 more|arXiv (Cornell University)|Apr 5, 2018

3D Shape Modeling and Analysis参考文献 27被引用数 138

ひとこと要約

Pixel2Mesh は、差分可能なパイプラインを用いて単一のRGB画像から3Dメッシュモデルを生成します。パイプラインは3D頂点を画像平面に射影し特徴をプーリングします。ShapeNet-car実験において、八分木ベースのボクセル法を上回ります。

ABSTRACT

We propose an end-to-end deep learning architecture that produces a 3D shape in triangular mesh from a single color image. Limited by the nature of deep neural network, previous methods usually represent a 3D shape in volume or point cloud, and it is non-trivial to convert them to the more ready-to-use mesh model. Unlike the existing methods, our network represents 3D mesh in a graph-based convolutional neural network and produces correct geometry by progressively deforming an ellipsoid, leveraging perceptual features extracted from the input image. We adopt a coarse-to-fine strategy to make the whole deformation procedure stable, and define various of mesh related losses to capture properties of different levels to guarantee visually appealing and physically accurate 3D geometry. Extensive experiments show that our method not only qualitatively produces mesh model with better details, but also achieves higher 3D shape estimation accuracy compared to the state-of-the-art.

研究の動機と目的

• 単一のRGB画像から3Dメッシュ再構成を可能にする。
• 微分可能な特徴プーリングとメッシュ変形を学習可能なパイプラインに統合する。
• ボクセルベースのベースラインと比較評価し、初期メッシュへの感度を分析する。

提案手法

• カメラ内部パラメータと透視投影を用いて3D頂点を画像平面に投影する。
• 投影された頂点位置で二次の補間（双線形補間）を用いて画像特徴をプーリングする。
• ラプラシアン正則化項を用いて表面の滑らかさを保ちつつ、画像由来の特徴に適合するようメッシュを変形させる。
• ShapeNetデータセット上で octree-based voxel reconstruction methods と比較する。
• 初期メッシュ形状への感度を分析し、複数の視点からの定性的可視化を提供する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なプーリングを備えたメッシュベースの表現は、単一画像からのボクセルベース再構成と同等またはそれを上回ることができるか。
• RQ2 初期メッシュの選択は再構成品質と頑健性にどのように影響するか。
• RQ3 正則化項（例: ラプラシアン）がメッシュ品質と滑らかさに及ぼす影響は何か。

主な発見

• 本手法は ShapeNet-car における F-score および Chamfer-like 指標で octree-based アプローチを上回る（F-score 72.128 vs 65.335; F-score 2τ 87.247 vs 79.733; CD 0.236 vs 0.361; EMD 1.220 vs 1.273）。
• Hausdorff距離のアブレーションでは、全モデルが一般に最良スコアを達成し、ラプラシアン正則化が表面の滑らかさに寄与する。
• このアプローチは初期メッシュ形状に敏感ではなく、球体および複数の楕円体バリアントで同等の F-score および CD を示す。
• 定性的結果は滑らかな表面とシャープなディテールを示し、実世界の画像への一般化も確認できる。