[論文レビュー] Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone Image

Zhengqin Li, Kalyan Sunkavalli+1 more|arXiv (Cornell University)|Apr 16, 2018

Computer Graphics and Visualization Techniques参考文献 19被引用数 15

ひとこと要約

本論文では、フラッシュ照明を用いた1枚のスマートフォン画像から空間的に変化するBRDFおよび表面法線を回復するためのディープラーニング手法を提案する。CNNと微分可能レンダリング層、マテリアル分類、密度の高いCRF後処理モジュールを組み合わせることで、最小限の収集制約のもとで合成データおよび実世界データの両方において、最先端のSVBRDF再構成品質を達成した。

ABSTRACT

We propose a material acquisition approach to recover the spatially-varying BRDF and normal map of a near-planar surface from a single image captured by a handheld mobile phone camera. Our method images the surface under arbitrary environment lighting with the flash turned on, thereby avoiding shadows while simultaneously capturing high-frequency specular highlights. We train a CNN to regress an SVBRDF and surface normals from this image. Our network is trained using a large-scale SVBRDF dataset and designed to incorporate physical insights for material estimation, including an in-network rendering layer to model appearance and a material classifier to provide additional supervision during training. We refine the results from the network using a dense CRF module whose terms are designed specifically for our task. The framework is trained end-to-end and produces high quality results for a variety of materials. We provide extensive ablation studies to evaluate our network on both synthetic and real data, while demonstrating significant improvements in comparisons with prior works.

研究の動機と目的

• 消費者向けスマートフォンで撮影された1枚の画像から高精細な空間的に変化するBRDFおよび法線推定を可能にすること。
• ディープラーニングアーキテクチャに物理的事前知識を組み込むことで、1枚画像からのマテリアル推定の不適切な性質を克服すること。
• 空間的に変化するマテリアル推定に特化した大規模で知覚的に正確なSVBRDFデータセットの開発。
• 微分可能レンダリングとマテリアル分類からの共同監視を用いたエンドツーエンドの訓練。
• 最小限の収集オーバーヘッドで、多様な実世界環境およびスマートフォンデバイスに一般化すること。

提案手法

• 1枚のフラッシュ照明付きスマートフォン画像から、表面法線、拡散アルベド、鏡面粗さを回帰するためのCNNを訓練する。
• ネットワークには、推定されたBRDF成分を新たな照明方向と再結合する微分可能レンダリング層を含め、追加の訓練監視を提供する。
• 補助的監視を提供し、潜在表現の質を向上させるために、ネットワークにマテリアル分類器を統合する。
• 微細面BRDF特性を用いて、物理的インスピレーションを受けるユニタリ項と滑らかさ項を持つ密度の高い条件付きランダムフィールド（DCRF）が、ネットワーク出力を微調整する。
• 知覚的に正確な大規模な合成SVBRDFデータセットを用いて、エンドツーエンドの訓練を実施する。
• シャドウを低減し、高周波数の鏡面ハイライトの可視性を向上させるために、フラッシュ照明を活用し、マテリアル特徴の定量化を改善する。

実験結果

リサーチクエスチョン

• RQ1 フラッシュ照明を用いた1枚のスマートフォン画像から、専用ハードウェアを用いずに正確なSVBRDFおよび法線推定が可能か？
• RQ2 BRDFモデルや照明相互作用などの物理的事前知識を、より良いマテリアル推定を実現するためのディープラーニングアーキテクチャにどのように埋め込むことができるか？
• RQ3 合成データで訓練されたCNNが、異なるデバイスにおける多様な実世界の非制限的スマートフォン撮影にどの程度一般化できるか？
• RQ4 共同マテリアル分類と微分可能レンダリングを組み合わせることで、SVBRDF予測のロバスト性と正確性が向上するか？
• RQ5 提案されたDCRF後処理は、微細面BRDF特性を用いてCNN出力をどのように微調整するか？

主な発見

• 提案手法は、合成および実世界のSVBRDFデータセットの両方で、定量的および定性的に最先端の結果を達成し、先行する1枚画像手法を上回った。
• ネットワークは、Huawei P9、Google Tango、iPhone 6sなど、さまざまなスマートフォンデバイス間で良好に一般化しており、デバイス固有の変動に対して強いロバスト性を示した。
• 本手法は、[10] よりもシャープで詳細な法線マップを再構成でき、光度ステレオの結果と同等またはそれ以上であった。
• DCRF後処理により、出力における微細面BRDFの一貫性を強制することで、再構成精度が顕著に向上した。
• 192×192ピクセルのパッチあたり2.4秒という再構成時間で、[8] の6時間ベースラインを著しく上回り、より正確な結果を生成した。
• 金属の誤分類（例：金属が誤って分類された場合）による失敗ケースでさえも、妥当な再構成品質を維持しており、より良い意味的監視による改善の余地があることが示唆された。