[論文レビュー] VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis

Angtian Wang, Peng Wang+3 more|arXiv (Cornell University)|May 30, 2022

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

VoGEは、ラスタライゼーションの代わりにレイトラーシングを用いて、体積密度分布をモデル化するための微分可能ボリュームレンダラーを提案する。ガウス楕円体を3次元幾何的プリミティブとして使用し、正確な隠れ領域の推論を可能にする。CUDA最適化された近似積分と粗〜細のレンダリングにより、リアルタイム推論を実現し、ポーズ推定、形状適合、テクスチャ適合において最先端の性能を達成する。

ABSTRACT

The Gaussian reconstruction kernels have been proposed by Westover (1990) and studied by the computer graphics community back in the 90s, which gives an alternative representation of object 3D geometry from meshes and point clouds. On the other hand, current state-of-the-art (SoTA) differentiable renderers, Liu et al. (2019), use rasterization to collect triangles or points on each image pixel and blend them based on the viewing distance. In this paper, we propose VoGE, which utilizes the volumetric Gaussian reconstruction kernels as geometric primitives. The VoGE rendering pipeline uses ray tracing to capture the nearest primitives and blends them as mixtures based on their volume density distributions along the rays. To efficiently render via VoGE, we propose an approximate closeform solution for the volume density aggregation and a coarse-to-fine rendering strategy. Finally, we provide a CUDA implementation of VoGE, which enables real-time level rendering with a competitive rendering speed in comparison to PyTorch3D. Quantitative and qualitative experiment results show VoGE outperforms SoTA counterparts when applied to various vision tasks, e.g., object pose estimation, shape/texture fitting, and occlusion reasoning. The VoGE library and demos are available at: https://github.com/Angtian/VoGE.

研究の動機と目的

• ラスタライゼーションに基づく微分可能レンダラーの限界を解決する。具体的には、重なったプリミティブを適切に処理できず、遮蔽されたオブジェクトへの勾配伝播をブロックする問題を解消する。
• 視界距離によるブレンドに依存するのではなく、体積密度分布をモデル化することで、微分可能レンダリングにおける隠れ領域の推論を改善する。
• 明示的なガウス楕円体を用いることで、解釈可能で変更可能な3次元表現を実現し、スプラッティングとボリュームレンダリングの利点を統合する。
• ポーズ推定や形状適合などの3次元ビジョンタスクに適した、エンドツーエンド最適化をサポートするリアルタイムで微分可能なレンダリングパイプラインを開発する。

提案手法

• 中心位置と空間共分散行列で定義されるガウス楕円体を用いて3次元オブジェクトを表現し、滑らかで微分可能な幾何形状を実現する。
• レイトラーシングを用いて、各ガウス楕円体の1レイごとの体積密度関数を計算し、ラスタライゼーションの代わりに連続的な密度集約を実現する。
• 数値積分の代わりに閉形式解による近似を用いることで、レイに沿った体積密度の積分を高速化する。
• 最適化中の収束速度と効率を向上させるために、粗〜細のレンダリング戦略を採用する。
• 密度と占有度に基づいて再重み付けされた寄与度に従い、ガウスカーネルの属性をブレンドすることで、画像の色を再構築する。
• VoGEのCUDA最適化版を実装し、PyTorch3Dと同等のリアルタイムレンダリング性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 体積ガウス楕円体に基づく微分可能レンダラーは、ラスタライゼーションベースの手法に比べ、隠れ領域の推論と勾配伝播において優れているか？
• RQ2 視界距離ではなく体積密度分布をモデル化することで、重なった領域や部分的に遮蔽されたシーンにおけるブレンド精度が向上するか？
• RQ3 ガウス楕円体は、形状・テクスチャ適合などの逆レンダリングタスクに有効な、微分可能な3次元プリミティブとして機能するか？
• RQ4 提案された近似閉形式解は、レンダリング品質を維持しつつ、リアルタイム性能を実現できるか？

主な発見

• PASCAL3D+のin-wildオブジェクトポーズ推定ベンチマークにおいて、VoGEは69.2%の精度を達成し、同じ設定下でPyTorch3D（61.0%）とNeMo+DSS（27.8%）を上回った。
• 形状適合において、VoGEは中央誤差を6.9°まで低減（PyTorch3Dは8.8°）し、π/6の閾値で47.9%の精度を達成し、すべてのベースラインを上回った。
• アブレーションスタディの結果、占有度関数 $ T(l_k) $ や指数項 $ e^{q_k} $ への勾配ブロッキングが性能を著しく低下させることを確認した。
• テクスチャ抽出においても、ボートやバスなど分布外のケースに対しても、妥当な新視点レンダリングを生成する優れた一般化性能を示した。
• 形状適合における損失曲線から、明示的な法線一貫性損失がなくても、VoGEはタイトな幾何制約を維持しており、強力な勾配伝播の有効性を示している。
• VoGEのCUDA実装により、PyTorch3Dと同等の性能を達成するリアルタイムレンダリングが可能となり、ビジョンパイプラインにおけるエンドツーエンド最適化に適している。