[論文レビュー] Differentiable Rendering with Perturbed Optimizers

Quentin Le Lidec, Ivan Laptev+2 more|arXiv (Cornell University)|Oct 18, 2021

Advanced Vision and Imaging参考文献 29被引用数 8

ひとこと要約

この論文は、ランダム化スムージングを用いて、ラスタライゼーションやZバッファリングなどの非微分可能レンダリング操作を滑らかで微分可能にする、微分可能で摂動を加えたレンダラーを導入する。これらの操作を最適化問題の解として定式化し、摂動を加えた最適化手法を適用することで、滑らかな近似よりもより正確な勾配を提供し、6次元ポーズ推定および自己教師付き3Dメッシュ再構築において、優れた安定性と性能を達成し、最先端の結果を実現する。

ABSTRACT

Reasoning about 3D scenes from their 2D image projections is one of the core problems in computer vision. Solutions to this inverse and ill-posed problem typically involve a search for models that best explain observed image data. Notably, images depend both on the properties of observed scenes and on the process of image formation. Hence, if optimization techniques should be used to explain images, it is crucial to design differentiable functions for the projection of 3D scenes into images, also known as differentiable rendering. Previous approaches to differentiable rendering typically replace non-differentiable operations by smooth approximations, impacting the subsequent 3D estimation. In this paper, we take a more general approach and study differentiable renderers through the prism of randomized optimization and the related notion of perturbed optimizers. In particular, our work highlights the link between some well-known differentiable renderer formulations and randomly smoothed optimizers, and introduces differentiable perturbed renderers. We also propose a variance reduction mechanism to alleviate the computational burden inherent to perturbed optimizers and introduce an adaptive scheme to automatically adjust the smoothing parameters of the rendering process. We apply our method to 3D scene reconstruction and demonstrate its advantages on the tasks of 6D pose estimation and 3D mesh reconstruction. By providing informative gradients that can be used as a strong supervisory signal, we demonstrate the benefits of perturbed renderers to obtain more accurate solutions when compared to the state-of-the-art alternatives using smooth gradient approximations.

研究の動機と目的

• 3Dシーン再構築に一般的に用いられる、ラスタライゼーションと深度集約の非微分可能性を解消すること。
• 非滑らかで微分不可能な操作を摂動を加えた最適化手法に結びつける理論的で一般化可能なフレームワークを提供すること。
• 勾配の分散を低減するための制御変数法を用いて、摂動を加えたレンダリングにおける勾配推定の精度と安定性を向上させること。
• 最適化中に摂動への出力の感度分析に基づき、滑らかさパラメータを動的に調整する適応的スムージング方式を開発すること。
• 自己教師付き3Dメッシュ再構築および6次元ポーズ推定タスクにおいて、滑らかな勾配近似よりも優れた摂動を加えたレンダラーの優位性を実証すること。

提案手法

• ラスタライゼーションと集約を、可能な集合上での線形関数のargmaxとして定式化する。
• 目的関数にランダムな摂動を加えることで、摂動を加えた最適化手法を用いて非滑らかで微分不可能な操作を微分可能にする。
• 確率的勾配推定における勾配の分散を低減するための制御変数技術を用い、より鋭く信頼性の高い更新を可能にする。
• 摂動へのレンダラー出力の感度分析に基づき、滑らかさパラメータを動的に調整する適応的スケームを導入する。
• シルエット、RGB、ラプラシアン正則化損失を用いたニューラルネットワークを用いた自己教師付き学習パイプラインに、摂動を加えたレンダラーを統合する。
• 標準的な最適化（Adam）を用い、メモリ制約がある場合に大バッチでの微分可能近似（例：SoftRas）に切り替えることをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ラスタライゼーションやZバッファリングといった非微分可能レンダリング操作は、原理的で一般化可能なフレームワークによって微分可能にできるか？
• RQ2 摂動を加えた最適化手法によるランダム化スムージングは、既存の滑らかな勾配近似と比較して、勾配品質および最適化性能においてどのように異なるか？
• RQ3 分散低減技術は、摂動を加えた微分可能レンダリングにおける勾配推定の安定性と効率を向上させられるか？
• RQ4 適応的スムージング戦略は、3D再構築およびポーズ推定における収束性とロバスト性を向上させられるか？
• RQ5 提案された摂動を加えたレンダラーは、自己教師付き3Dメッシュ再構築および6次元ポーズ推定において、最先端の微分可能レンダラーを上回るか？

主な発見

• 自己教師付き3Dメッシュ再構築において、ShapeNetデータセットで平均3D IoU 61.0%を達成し、SoftRas（58.6%）およびDIB-R（59.9%）を上回る。
• 6次元ポーズ推定ベンチマークにおいて、滑らかな勾配近似を用いた最先端の代替手法よりも高い精度を達成した。
• 複数のランダムシードにおいて標準偏差が低く（例：平均IoUの±0.11）、安定性が向上していることが示された。
• 適応的スムージング方式は、勾配品質と計算コストのバランスを効果的にとらえ、弱い摂動でも信頼性の高い最適化を可能にした。
• 図7の定性的な結果から、摂動を加えたレンダラーは単一画像から高品質で色付けされた3Dメッシュ再構築を生成でき、強力な視覚的監視の有効性を示している。
• 本手法は柔軟で、最小限の変更で既存のレンダリングパイプラインに統合可能であり、SoftRasのような先行手法を一般化する。