[論文レビュー] Radiometric Scene Decomposition: Scene Reflectance, Illumination, and Geometry from RGB-D Images

Stephen Lombardi, Ko Nishino|arXiv (Cornell University)|Apr 5, 2016

3D Surveying and Cultural Heritage参考文献 10被引用数 3

ひとこと要約

本稿では、RGB-D画像からの放射輝度的シーン分解のための新規ベイジアンフレームワークを提示する。空間的に変化する反射率、自然な照明、洗練された幾何構造を同時に推定しながら、相互反射、影、拡散テクスチャをモデル化する。本手法は、新規の視点からの正確な外観予測を達成し、構造的事前分布と反復最適化を用いて、複雑な素材と照明を有する現実世界のシーンにおける曖昧性を解消することで、包括的なシーン理解を可能にする。

ABSTRACT

Recovering the radiometric properties of a scene (i.e., the reflectance, illumination, and geometry) is a long-sought ability of computer vision that can provide invaluable information for a wide range of applications. Deciphering the radiometric ingredients from the appearance of a real-world scene, as opposed to a single isolated object, is particularly challenging as it generally consists of various objects with different material compositions exhibiting complex reflectance and light interactions that are also part of the illumination. We introduce the first method for radiometric scene decomposition that handles those intricacies. We use RGB-D images to bootstrap geometry recovery and simultaneously recover the complex reflectance and natural illumination while refining the noisy initial geometry and segmenting the scene into different material regions. Most important, we handle real-world scenes consisting of multiple objects of unknown materials, which necessitates the modeling of spatially-varying complex reflectance, natural illumination, texture, interreflection and shadows. We systematically evaluate the effectiveness of our method on synthetic scenes and demonstrate its application to real-world scenes. The results show that rich radiometric information can be recovered from RGB-D images and demonstrate a new role RGB-D sensors can play for general scene understanding tasks.

研究の動機と目的

• 複雑な素材と照明の相互作用を有する現実世界のシーンから、反射率、照明、幾何構造といった放射輝度的特性を回復するという課題に対処すること。
• 従来の手法がラムベール反射と点光源を仮定する単一オブジェクト設定の制限を克服すること。
• 複数のオブジェクトを有するシーンにおいて、未知の空間的に変化する素材、相互反射、影、非ラムベール効果を含む状況でも、頑健な分解を可能にすること。
• RGB-Dデータを幾何構造のためのものにとどめず、包括的な放射輝度的シーン理解の基盤として活用すること。
• 最大後確度（MAP）推定を可能にする体系的かつ微分可能なフレームワークを構築すること。

提案手法

• 等方的BRDFと拡散テクスチャを分離することで、空間的に変化する反射率をモデル化し、複雑な表面素材のコンact表現を可能にする。
• 経路追跡を用いて画像形成尤度内に間接照明および相互反射をシミュレートし、非局所的光輸送を捉える。
• 構造的事前分布を用いたベイジアン定式化により、反射率、照明、幾何構造の間の曖昧性を解消する。
• シーン表面に幾何的基底を導入し、少数のパラメータでRGB-D幾何構造の低周波数誤差を洗練する。
• 順序最適化を実行：まずシーンをセグメンテーションし、反射率／照明を推定した後、テクスチャを統合し、最後に幾何構造を洗練する。
• MAP推定のための対数後確度の勾配を導出することで、すべての放射輝度的成分のエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な素材と照明の相互作用を有する現実世界のシーンにおいて、RGB-Dデータを用いて反射率、照明、幾何構造を同時に回復できるか？
• RQ2 過学習を回避しつつ、空間的に変化する反射率と拡散テクスチャを効果的にモデル化するにはどうすればよいか？
• RQ3 ベイジアン最適化フレームワーク内での経路追跡を用いて、相互反射と影をどれほど正確にシミュレート・推定できるか？
• RQ4 センサのノイズや過剰平滑化の影響を受ける状況下でも、RGB-Dデータからの幾何構造の洗練が、反射率と照明推定の正確性を向上させられるか？
• RQ5 順序最適化戦略は、テクスチャが鏡面反射をモデル化するのを防ぐなど、アーチファクトの発生をどのように回避するのか？

主な発見

• 本手法は、合成シーンおよび現実世界のシーンの両方において、幾何的摂動に強く、複雑な照明下でも新規視点からの正確な外観予測を達成する。
• 合成シーンでは、幾何構造が意図的に摂動されても、反射率と照明が高精度で回復される。
• 現実世界のシーンでは、テーブル上の鏡面反射を素材特性として正しく特定し、テクスチャの変化とは誤分類しない。
• フレームワークはシーンを素材領域に正しくセグメンテーションし、本やマグの文字など微細なテクスチャディテールを、センサのノイズや限られた視点にもかかわらず回復する。
• 幾何構造の洗練は、特にマグのハンドルのような複雑な特徴において、形状の正確性を顕著に向上させる。
• 段階的最適化プロセスは過学習を防止する——例えば、テクスチャが鏡面反射をモデル化しない——これにより、順序付き変数更新戦略の必要性が示された。