[論文レビュー] Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning

Shichen Liu, Tianye Li+2 more|arXiv (Cornell University)|Apr 3, 2019

Advanced Vision and Imaging参考文献 47被引用数 129

ひとこと要約

Soft Rasterizer は、レンダリングを全メッシュ三角形にわたる柔らかく確率的な集約として扱う完全に微分可能なレンダリングフレームワークを提示し、ピクセルから3Dメッシュ特性へのエンドツーエンドの勾配フローを可能にし、教師なしの単一視点再構成と画像ベースの形状適合を実現します。

ABSTRACT

Rendering bridges the gap between 2D vision and 3D scenes by simulating the physical process of image formation. By inverting such renderer, one can think of a learning approach to infer 3D information from 2D images. However, standard graphics renderers involve a fundamental discretization step called rasterization, which prevents the rendering process to be differentiable, hence able to be learned. Unlike the state-of-the-art differentiable renderers, which only approximate the rendering gradient in the back propagation, we propose a truly differentiable rendering framework that is able to (1) directly render colorized mesh using differentiable functions and (2) back-propagate efficient supervision signals to mesh vertices and their attributes from various forms of image representations, including silhouette, shading and color images. The key to our framework is a novel formulation that views rendering as an aggregation function that fuses the probabilistic contributions of all mesh triangles with respect to the rendered pixels. Such formulation enables our framework to flow gradients to the occluded and far-range vertices, which cannot be achieved by the previous state-of-the-arts. We show that by using the proposed renderer, one can achieve significant improvement in 3D unsupervised single-view reconstruction both qualitatively and quantitatively. Experiments also demonstrate that our approach is able to handle the challenging tasks in image-based shape fitting, which remain nontrivial to existing differentiable renderers.

研究の動機と目的

• 2D画像からの密なピクセルから3D監視を有効にすることで3D推論を動機づける（微分可能なレンダラーを介して）
• レンダリングの非微分性を解消するために、レンダリングを柔らかい確率的集約として再定式化する
• 自己遮蔽および遠方のメッシュ頂点への勾配伝達を可能にし、堅牢な3D再構成とフィッティングを実現する
• カラー化されたメッシュ、シルエット、陰影のレンダリングをサポートし、メッシュジオメトリと外観の監視を行う

提案手法

• 各三角形 j ごとの確率マップ D_j を導入して、その三角形の影響を受ける可能性を各ピクセルにモデル化する
• D_j と三角形の深さ (z_j) を用いて各三角形のカラー表を融合し最終画像を生成する微分可能な集約関数 A を定義する
• 滑らかさと忠実度のバランスを取るため、鋭さパラメータ sigma と小さな gamma を用いたシグモイドベースのソフトラスタライゼーションを使用する
• 比較用のニューラルネットワークベースのアグリゲーター A_N の選択肢と、透過性を持つ A_O（シルエット用）および A_S（カラー用）の集約関数のバリエーションを提供する
• シルエットおよび/またはカラー画像上のレンダリング損失と、再構成を安定させるためのジオメトリ（ラプラシアン）正則化のオプションを用いて訓練する
• 遮蔽や非剛性変形を伴う単一視点のメッシュ再構成と画像ベースの形状適合への適用性を実証する

実験結果

リサーチクエスチョン

• RQ1 3D監視を用いずに、単一画像からのエンドツーエンド訓練を可能にする真に微分可能なレンダリング層は実現可能か？
• RQ2 ソフト・確率的ラスタライゼーションフレームワークを通じて、遮蔽と遠方の頂点がどのように勾配信を受けられるか？
• RQ3 ソフトラスタライゼーションは、以前の微分可能レンダラと比較して、画像ベースの形状適合の最適化ランドスケープを滑らかにし、頑健性を向上させるか？
• RQ4 距離指標と集約関数の組み合わせが3D再構成の質に与える影響はどの程度か？
• RQ5 入力画像からのカラー・パレットアプローチを用いた再構成メッシュの着色はどの程度再現性があるか？

主な発見

• SoftRas は ShapeNet カテゴリで非教師付きベースラインより平均 IoU が優れており、単一視点再構成でいくつかの教師あり手法に近づくか、超えることがある。
• 確率的集約により遮蔽され遠方の三角形にも勾配が流れ、ポーズフィットや非剛性形状最適化が改善される。
• 学習済みカラー パレットによるカラー再構築は、低解像度の入力画像から再構成されたメッシュ上に鋭いテクスチャをもたらす。
• アブレーションによりユークリッド距離と A_O/A_S 集約は良好に機能し、ニューラルネットワークベースの A_N は処理コストが高い割に限定的な改善をもたらす。
• シルエットとカラー損失を用いたレンダリングはシルエットのみの監視より性能が良く、ラプラシアン幾何正則化は追加の利得を提供する。