[論文レビュー] A Lightweight Approach for On-the-Fly Reflectance Estimation

Kihwan Kim, Jinwei Gu+4 more|arXiv (Cornell University)|May 19, 2017

Advanced Vision and Imaging参考文献 13被引用数 11

ひとこと要約

本論文は、一般のRGBDセンサを用いて、8ビットRGB画像からリアルタイムで軽量な学習ベースの手法により、動的表面反射率推定を実現する。2つの新規ニューラルネットワークアーキテクチャ（HemiCNNおよびGrouplet）に加え、色の定常性とスケールのあいまいさを解消する知覚的動機付けの損失関数を導入することで、制御不能な環境下でも正確なBRDF推定が可能となり、推論時間は90ms未塔、モデルサイズは340KB未塔を達成した。

ABSTRACT

Estimating surface reflectance (BRDF) is one key component for complete 3D scene capture, with wide applications in virtual reality, augmented reality, and human computer interaction. Prior work is either limited to controlled environments (\eg gonioreflectometers, light stages, or multi-camera domes), or requires the joint optimization of shape, illumination, and reflectance, which is often computationally too expensive (\eg hours of running time) for real-time applications. Moreover, most prior work requires HDR images as input which further complicates the capture process. In this paper, we propose a lightweight approach for surface reflectance estimation directly from $8$-bit RGB images in real-time, which can be easily plugged into any 3D scanning-and-fusion system with a commodity RGBD sensor. Our method is learning-based, with an inference time of less than 90ms per scene and a model size of less than 340K bytes. We propose two novel network architectures, HemiCNN and Grouplet, to deal with the unstructured input data from multiple viewpoints under unknown illumination. We further design a loss function to resolve the color-constancy and scale ambiguity. In addition, we have created a large synthetic dataset, SynBRDF, which comprises a total of $500$K RGBD images rendered with a physically-based ray tracer under a variety of natural illumination, covering $5000$ materials and $5000$ shapes. SynBRDF is the first large-scale benchmark dataset for reflectance estimation. Experiments on both synthetic data and real data show that the proposed method effectively recovers surface reflectance, and outperforms prior work for reflectance estimation in uncontrolled environments.

研究の動機と目的

• 照明や幾何が未知の制御不能な環境下で、リアルタイムな表面反射率推定を実現すること。
• HDR画像や制御された照明、数時間に及ぶ最適化を必要とする従来手法の計算およびハードウェア上の制限を克服すること。
• 消費者向けモバイルデバイスで実用的かつリアルタイムな3Dスキャン・統合パイプラインに統合可能となること。
• 5000種類の素材と形状を含む50万枚のRGBD画像を有するSynBRDFデータセットを構築することで、反射率推定のスケーラブルなベンチマークを提供すること。
• 8ビットRGB入力におけるスケールおよび色の定常性のあいまいさを、新規の微分可能な損失関数により解消すること。

提案手法

• HemiCNNを提案。このネットワークは、スパarselyな非構造的マルチビュー観測を2次元画像グリッドに射影し、標準的な畳み込み処理を可能にする。
• Groupletを導入。この軽量なMLPベースのアーキテクチャは、グリッドへの射影を経由せずに、直接的に観測のランダムサンプルを処理する。
• スケールおよび色の定常性のあいまいさを8ビットRGB入力で解消するため、知覚的および物理的制約を組み合わせた新規の損失関数を設計する。
• sRGB強度を線形放射率にマッピングするためのガンマ補正モデル（γ = 2.4）を用い、シーンおよび背景の平均放射率の推定を可能にする。
• 簡略化されたレンダリング方程式に基づく正則化項（式4）を定式化する：$\bar{F}^\gamma \approx (\rho_d + \rho_s) \cdot \bar{B}^\gamma$、ここで$\bar{F}$および$\bar{B}$はそれぞれ前景および背景の強度平均を表す。
• 物理ベースのレイトレーシングレンダラーを用いて自然な照明下でレンダリングされた50万枚のRGBD画像を含む大規模な合成データセット、SynBRDFを用いてネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 HDR入力や制御された環境を必要とせず、8ビットRGB画像からリアルタイムに反射率推定を実現できるか？
• RQ2 未知の照明下で、非構造的かつスパarselyな複数視点観測を効果的に処理できるニューラルネットワークはどのようなものか？
• RQ3 学習された損失関数が、低ダイナミックレンジ入力におけるスケールおよび色の定常性のあいまいさをどの程度解消できるか？
• RQ4 340KB未塔のモデルサイズおよび90ms未塔の推論時間という軽量なモデルが、制御不能な環境下で従来手法を上回る性能を示せるか？
• RQ5 本手法は、一般のRGBDセンサで撮影された実世界データに対してどの程度有効であるか？

主な発見

• 提案手法は1シーンあたり90ms未塔の推論時間、340KB未塔のモデルサイズを達成し、モバイルデバイスでのリアルタイム応用に適している。
• 合成データおよび実世界データの両方の実験から、表面アルベドおよびグロスの回復が効果的に実現され、制御不能な環境下でも従来手法を上回る性能を示した。
• GroupletおよびHemiCNNネットワークは、SynBRDFベンチマークで最先端の性能を達成し、より低いRMSEおよび知覚的により正確な結果をもたらした。
• 正則化項（式4）は、実世界データにおける明るさおよびグロス推定を顕著に改善し、スケールのあいまいさを解消する上で中心的な役割を果たしていることが示された。
• 定性的な結果から、新たな照明および視点条件下でのレンダリング画像が、真値とよく一致しており、物体の形状や照明の変化に対しても一貫性があることが確認された。
• 補足動画および視覚的比較を通じて、本手法が一般のRGBDセンサで撮影された実世界データに対しても、うまく一般化できることを実証した。