[論文レビュー] Fast Differentiable Raycasting for Neural Rendering using Sphere-based Representations

Christoph Lassner|arXiv (Cornell University)|Apr 16, 2020

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

この論文では、球体クラウドを用いて従来のメッシュ表現を置き換えることで、効率的でトポロジーに依存しないレンダリングと最適化を可能にする高速な微分可能レイトレイサー、pulsarを提案する。PyTorch統合により、レンダリングを桁違いに高速化し、数百万個の球体を含むシーンのリアルタイム最適化を可能にするとともに、位置、半径、色、不透明度、カメラ設定を含むすべてのシーンパラメータの勾配を提供する。

ABSTRACT

Differentiable rendering in combination with deep learning promises great advantages: deep learning models can produce realistic scenes rapidly, while differentiable rendering offers consistent scene representations and respective gradients. However, gradient based optimization of classical mesh representations is cumbersome because of the explicit topology encoding. Moreover, complex scenes may need detailed geometric representation, requiring many geometric primitives and a fast rendering operation. We propose to break up the rendering process into multiple parts: (1) the scene representation, (2) a differentiable geometry projection and (3) neural shading. While mature, off-the-shelf models for scene representation and neural shading are widely available, we propose pulsar as a general purpose differentiable geometry engine tightly integrated with PyTorch. By replacing mesh representations with sphere clouds for the scene representation, the operation is fast compared to existing differentiable renderers and avoids problems with surface topology. It provides gradients for the full scene parameterization, i.e., sphere positions, colors, radiuses, opacity and the camera parameters. pulsar can execute many times, up to orders of magnitudes faster than existing renderers and allows real-time rendering and optimization of scenes with millions of spheres. It can be used for 3D reconstruction, rendering and volumetric scene optimization.

研究の動機と目的

• ディープラーニングパイプラインにおけるメッシュベースの微分可能レンダリングの計算非効率性とトポロジカルな複雑さを解決すること。
• 数百万個の幾何的プリミティブを含む複雑な3Dシーンのリアルタイム最適化を可能にすること。
• 球体の性質やカメラパラメータを含む、すべてのパrameterの勾配をサポートする汎用的な微分可能なジオメトリエンジンを提供すること。
• 計算コストの高いメッシュベースのレンダリングを、より速くトポロジーに依存しない球体クラウド表現に置き換えること。

提案手法

• この手法は、明示的なメッシュトポロジーを、各球体が位置、半径、色、不透明度で定義され、微分可能である球体クラウド表現に置き換える。
• レンダリングを3段階に分解する：球体クラウドによるシーン表現、微分可能なジオメトリープrojection、ニューラルシェーディング。
• ジオメトリープrojection段階では、解析的解を用いた高速なレイ・スフィアインターセクションテストを実行し、GPU加速計算を可能にする。
• すべての操作はPyTorchで実装されており、すべてのシーンパラメータおよびカメラ設定における自動微分を可能にする。
• 大規模なシーンにおけるパフォーマンス向上を図るため、階層的およびスパースな球体表現をサポートする。
• レンダラはモジュラーや合成可能に設計されており、既存のニューラルシェーディングおよび最適化フレームワークへの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 球体クラウドに基づく微分可能レイトレイサーは、メッシュベースのレンダラーに比べて速度とスケーラビリティで優れているか？
• RQ2 球体クラウドのようなトポロジーに依存しない幾何的表現は、複雑なシーンにおいて安定的で効率的な勾配計算を可能にするか？
• RQ3 球体ベースのレンダリングは、数百万個のプリミティブを含むシーンに対してどの程度リアルタイム最適化を達成できるか？
• RQ4 球体クラウドジオメトリとニューラルシェーディングの統合は、エンドツーエンドの学習効率をどのように向上させるか？

主な発見

• pulsarは、既存の微分可能レンダラーと比較して、レンダリング速度が桁違いに速く、数百万個の球体を含むシーンのリアルタイム最適化を可能にする。
• 球体クラウドの使用によりトポロジカルな複雑さが解消され、メッシュ接続性や表面表現に関連する問題が回避される。
• 球体の位置、半径、色、不透明度、カメラパラメータを含む、すべてのシーンパラメータに対して完全な勾配が提供され、エンドツーエンド最適化が可能になる。
• 解析的解を用いた効率的な微分可能なレイ・スフィアインターセクションにより、計算オーバーヘッドが低減される。
• PyTorchとの統合により、3D再構築、ニューラルレンダリング、ボリュメトリック最適化のためのディープラーニングパイプラインへのシームレスな統合が可能になる。