[論文レビュー] Soft Rasterizer: Differentiable Rendering for Unsupervised Single-View Mesh Reconstruction

Shichen Liu, Weikai Chen+2 more|arXiv (Cornell University)|Jan 17, 2019

3D Shape Modeling and Analysis参考文献 57被引用数 78

ひとこと要約

Soft Rasterizer (SoftRas) を導入した、微分可能なシルエットベースのラスタライザ。レンダリング損失をメッシュ生成器へバックプロップすることで、監視なしの単一視点からの3Dメッシュ再構成を可能にします。

ABSTRACT

Rendering is the process of generating 2D images from 3D assets, simulated in a virtual environment, typically with a graphics pipeline. By inverting such renderer, one can think of a learning approach to predict a 3D shape from an input image. However, standard rendering pipelines involve a fundamental discretization step called rasterization, which prevents the rendering process to be differentiable, hence suitable for learning. We present the first non-parametric and truly differentiable rasterizer based on silhouettes. Our method enables unsupervised learning for high-quality 3D mesh reconstruction from a single image. We call our framework `soft rasterizer' as it provides an accurate soft approximation of the standard rasterizer. The key idea is to fuse the probabilistic contributions of all mesh triangles with respect to the rendered pixels. When combined with a mesh generator in a deep neural network, our soft rasterizer is able to generate an approximated silhouette of the generated polygon mesh in the forward pass. The rendering loss is back-propagated to supervise the mesh generation without the need of 3D training data. Experimental results demonstrate that our approach significantly outperforms the state-of-the-art unsupervised techniques, both quantitatively and qualitatively. We also show that our soft rasterizer can achieve comparable results to the cutting-edge supervised learning method and in various cases even better ones, especially for real-world data.

研究の動機と目的

• 未知の3D地上 truthが利用できない場合の単一画像からの監視なし3D再構成を動機づける。
• エンドツーエンド学習に適した真に微分可能なラスタライザを提案する。
• SoftRas を用いたシルエットベースの監視が高品質なメッシュ再構成を導くことを示す。
• 最先端の監視なし手法と比較し、リアリズムとジオメトリの品質を分析する。

提案手法

• 各三角形の距離ベースの確率マップ D_j を像素に対して用いる確率的、微分可能なラスタライゼーションとして定式化する。
• D_j^i = sigmoid(delta_ij * d(i,j)^2 / sigma) を定義する。ここで d(i,j) は像素 i と三角形 f_j との距離、delta_ij は像素が f_j の内部か外部かを示す。
• 微分可能な OR のような演算子 hat{S}^i = 1 - prod_j (1 - D_j^i) で三角形の寄与を集約し、シルエット形成を近似する。
• エンコーダ-デコーダを用いて頂点ごとの変位を予測するテンプレート球を変形させるエンドツーエンドのメッシュ再構成ネットワークに SoftRas を組み込む。
• レンダリングされた hat{S} と地上真のシルエット S の IoU ベースのシルエット損失に、滑らかなジオメトリのためのラプラシアン正則化と平坦化正則化を加えて学習する。
• オプションとして、色の再構成を微分可能ラスタライザを介して色損失を逆伝播することで実現する。

実験結果

リサーチクエスチョン

• RQ1 真に微分可能なラスタライザは、シルエットだけで3Dメッシュ生成を監督するのに十分標準的なラスタライゼーションを近似できるか？
• RQ2 SoftRas を用いたシルエットベースの監視は、ジオメトリ品質と IoU の観点から、従来の監視なし・監視ありの3D再構成法とどう比較されるか？
• RQ3 ジオメトリ正則化（ラプラシアン、平坦化）と多視点訓練が再構成精度に与える影響はどの程度か？
• RQ4 合成シルエットから実画像への一般化はどの程度うまく機能するか？

主な発見

カテゴリ	取得 [53]	ボクセルベース [53]	N3MR [19]	SoftRas（私たちの）
Airplane	0.5564	0.5556	0.6172	0.6419
Bench	0.4875	0.4924	0.4998	0.5080
Dresser	0.5713	0.6823	0.7143	0.7116
Car	0.6519	0.7123	0.7095	0.7697
Chair	0.3512	0.4494	0.4990	0.5270
Display	0.3958	0.5395	0.5831	0.6156
Lamp	0.2905	0.4223	0.4126	0.4628
Mean	0.4766	0.5736	0.6015	0.6234

• SoftRas は最先端の監視なし手法と競争力のある IoU を達成し、いくつかのカテゴリで監視ありの結果に近づく、または上回る場合もある。
• 確率的で微分可能なラスタライゼーションは、過去の微分可能レンダラと比べて自己交差などのアーティファクトが少ない、滑らかで高品質なメッシュを生み出す。
• より多くの訓練視点を用いると再構成精度が向上し、大きな平面領域を持つオブジェクトにおけるシルエットベースの曖昧性を緩和できる。
• アブレーション実験ではラプラシアン損失と平坦化損失の双方が、滑らかで自己交差のないジオメトリの生成に重要である。
• 色は SoftRas 層を通じて色損失を逆伝播することで、カラー付きメッシュ再構成を可能にする。
• 表ベースの結果は SoftRas が ShapeNet カテゴリ全体においていくつかのベースラインを上回る平均 IoU の改善を示す。