[論文レビュー] Differentiable Rendering: A Survey

Hiroharu Kato, Deniz Beker+5 more|arXiv (Cornell University)|Jun 22, 2020

3D Shape Modeling and Analysis参考文献 149被引用数 120

ひとこと要約

本論文は、メッシュ、ボクセル、点群、ニューラル・インプリシット表現にわたる微分可能レンダリング（DR）手法の包括的な調査を提供し、ニューラルレンダリング、応用、評価、および未解決の課題を含む。

ABSTRACT

Deep neural networks (DNNs) have shown remarkable performance improvements on vision-related tasks such as object detection or image segmentation. Despite their success, they generally lack the understanding of 3D objects which form the image, as it is not always possible to collect 3D information about the scene or to easily annotate it. Differentiable rendering is a novel field which allows the gradients of 3D objects to be calculated and propagated through images. It also reduces the requirement of 3D data collection and annotation, while enabling higher success rate in various applications. This paper reviews existing literature and discusses the current state of differentiable rendering, its applications and open research problems.

研究の動機と目的

• 2D画像証拠と3Dシーン理解を結ぶ橋として、微分可能レンダリングを動機づける。
• データ表現とそれらの機構にわたるDR手法の現状を要約する。
• DRの評価指標、ライブラリ、および実践上の考慮事項を検討する。
• 今後の研究を指針とする応用例と未解決の研究課題を特定する。

提案手法

• 基盤となるデータ表現（メッシュ、ボクセル、点群、及び暗黙関数）ごとに微分可能レンダリングアルゴリズムを分類する。
• 解析的および近似勾配手法を説明し、全光照方式を含む。
• 手作りの微分可能レンダラの代わりとなる学習型のニューラルレンダリングを論じる。
• 研究と実装を支援する評価手法とDRライブラリを検討する。
• 各表現の利点、制限、および計算上の考慮点を概説する。
• 微分可能レンダリングにおける未解決問題と今後の方向性に対処する。

実験結果

リサーチクエスチョン

• RQ1 各幾何表現（メッシュ、ボクセル、点群、暗黙関数）における主要な微分可能レンダリング手法とそれらの微分戦略は何か？
• RQ2 評価手法と指標は微分可能レンダリング手法にどのように適用され、実践的な制約は何か？
• RQ3 微分可能レンダリングによって現在可能となっている応用は何か、リアルタイムまたは組込み用途に残る課題は何か？
• RQ4 微分可能レンダリングとニューラルレンダリングの統合に関して提案されている未解決課題と今後の方向性は何か？

主な発見

• メッシュベースのDRには解析的勾配、近似勾配、および全光照技術が含まれる。
• ボクセルベースのDRは占有/TSDF表現と微分可能な集約を伴うレイマーチングに依存する。
• 点群DRは影響重み付けと遮蔽を扱い、深度と色の形成のためのさまざまな戦略を有する。
• ニューラル暗黙表現は、レイベースのサンプリングと微分可能レンダリングにより表面および占有モデルを可能にする。
• ニューラルレンダリングはデータ駆動型の代替として現れ、実現性を高める可能性がある一方で、一般化と制御の課題に直面する。
• この分野には統一された単一の微分可能レンダリングフレームワークはなく、実用には計算とライブラリを慎重に考慮する必要がある。