[論文レビュー] Image-based remapping of spatially-varying material appearance

Alejandro Sztrajman, Jaroslav Křivánek+2 more|arXiv (Cornell University)|Aug 20, 2018

Image Processing and 3D Reconstruction参考文献 8被引用数 4

ひとこと要約

本論文では、シェーダー実装にアクセスできない状況下でも、レンダリングシステム間で空間的に変化するBRDF（SVBRDF）を自動的に再マッピングする画像ベースの手法を提示する。制御された照明下でレンダリングされた画像を用いてSSIMを用いて外観を比較することで、頑健なパrameter変換が可能となり、さらに、高速でリアルタイムなテクスチャマップ再マッピングを可能にするパラメトリック回帰モデルを導入している。従来手法に比べて優れた外挿性能を示す。

ABSTRACT

BRDF models are ubiquitous tools for the representation of material appearance. However, there is now an astonishingly large number of different models in practical use. Both a lack of BRDF model standardisation across implementations found in different renderers, as well as the often semantically different capabilities of various models, have grown to be a major hindrance to the interchange of production assets between different rendering systems. Current attempts to solve this problem rely on manually finding visual similarities between models, or mathematical ones between their functional shapes, which requires access to the shader implementation, usually unavailable in commercial renderers. We present a method for automatic translation of material appearance between different BRDF models, which uses an image-based metric for appearance comparison, and that delegates the interaction with the model to the renderer. We analyse the performance of the method, both with respect to robustness and visual differences of the fits for multiple combinations of BRDF models. While it is effective for individual BRDFs, the computational cost does not scale well for spatially-varying BRDFs. Therefore, we further present a parametric regression scheme that approximates the shape of the transformation function and generates a reduced representation which evaluates instantly and without further interaction with the renderer. We present respective visual comparisons of the remapped SVBRDF models for commonly used renderers and shading models, and show that our approach is able to extrapolate transformed BRDF parameters better than other complex regression schemes.

研究の動機と目的

• 商業用レンダラー間でのBRDFモデルの標準化の欠如がアセットの交換を困難にしている問題に対処する。
• シェーダーへのアクセスを必要とする、またはパrameterマッピングを単純化しすぎる、手動またはヒューリスティックな再マッピング手法の限界を克服する。
• 入力パrameterと出力レンダリング画像のみを用いて、異なるBRDFモデル間での素材外観の自動的かつレンダラーに依存しない変換手法を開発する。
• パラメトリック回帰を用いることで、計算コストを低減し、空間的に変化するBRDF（SVBRDF）の効率的再マッピングを実現する。
• 多様なBRDFおよび照明条件下でも、再マッピングされた素材の視覚的忠実度と頑健性を向上させる。

提案手法

• 同一の照明条件下で同じ素材のレンダリングを比較し、構造的類似度（SSIM）を用いた画像ベースの外観比較により、BRDFの差を定量化する。
• 数値最適化によるパrameter最適化のため、BRDF応答を複数の方向にわたってサンプリングするため、ヘッドライトまたは非正面照明設定を採用する。
• 参照BRDFとターゲットBRDFのレンダリング間のSSIMに基づく不一致を数値的に最小化することで、パrameter最適化を実行する。
• 多項式フィッティングを用いて、BRDFパrameter間の変換関数を近似するパラメトリック回帰モデルを構築する。
• サンプリングされたパrameterペアのセットを用いて回帰モデルを学習し、リアルタイムでのSVBRDFテクスチャマップ再マッピングに適したコンパクトで高速な評価表現を生成する。
• 複数のBRDFペアにおける回帰モデルの合成により、複数ステップの再マッピングワークフローを可能にする変換のチェーン化を実現する。

実験結果

リサーチクエスチョン

• RQ1 シェーダーコードにアクセスできない状況下でも、SSIMのような画像ベースの指標が、BRDF間の知覚的差を効果的に捉えられるか？
• RQ2 特に照明条件や素材タイプが異なる状況下でも、再マッピングプロセスの頑健性はどの程度保たれるか？
• RQ3 パラメトリック回帰モデルは、レンダラーとのインタラクションを最小限に抑えつつ、BRDFパrameter変換を正確に近似できるか？
• RQ4 従来の手法（例：サポートベクターレグレッション）と比較して、提案手法の回帰法は未学習パラメータ領域においてより優れた一般化性能を示すか？
• RQ5 再マッピング中の照明設定が、最終的な素材外観の視覚的品質および安定性にどのように影響するか？

主な発見

• 画像ベースの再マッピング手法は、複数のBRDF組み合わせにおいて高い視覚的忠実度を達成しており、SSIMに基づく最適化により知覚的差が効果的に最小化されている。
• ヘッドライト照明に比べ、非正面照明（例：θₗ = 45°）を用いることで、平均不一致誤差が最大10%まで低減され、より頑健な性能が得られた。
• パラメトリック回帰モデルにより、レンダラーとのさらなるインタラクションなしに、再マッピング済みSVBRDFテクスチャマップを即座に評価可能である。
• サポートベクターレグレッションと比較して、回帰モデルは特に未学習パラメータ領域において優れた外挿性能を示した。
• 視覚的比較により、傷ついた金色、青色のプラスチック、銅像など複雑な素材に対しても、本手法は一貫性があり視覚的に妥当な結果を生成することが確認された。
• 本手法は変換のチェーン化をサポートしており、複数のレンダラー間での複数BRDFモデルへのスムーズな遷移を実現できる。