[論文レビュー] Learning to Importance Sample in Primary Sample Space

Quan Zheng, Matthias Zwicker|arXiv (Cornell University)|Aug 23, 2018

Image and Signal Denoising Methods参考文献 31被引用数 6

ひとこと要約

本稿では、主サンプル空間における非線形なワープを学習するReal NVPニューラルネットワークを用いたブラックボックス重要度サンプリング手法を提案する。この手法により、元のレンダラーを変更せずにモンテカルロレンダリングにおける分散を低減できる。最大尤度推定を用いてシーン依存のサンプルで訓練することで、一様サンプリングと比較して40％のMSE低減を達成する。サンプルの破棄を回避し、明示的な密度モデルやシーンデータ構造の必要性も排除する。

ABSTRACT

Importance sampling is one of the most widely used variance reduction strategies in Monte Carlo rendering. In this paper, we propose a novel importance sampling technique that uses a neural network to learn how to sample from a desired density represented by a set of samples. Our approach considers an existing Monte Carlo rendering algorithm as a black box. During a scene-dependent training phase, we learn to generate samples with a desired density in the primary sample space of the rendering algorithm using maximum likelihood estimation. We leverage a recent neural network architecture that was designed to represent real-valued non-volume preserving ('Real NVP') transformations in high dimensional spaces. We use Real NVP to non-linearly warp primary sample space and obtain desired densities. In addition, Real NVP efficiently computes the determinant of the Jacobian of the warp, which is required to implement the change of integration variables implied by the warp. A main advantage of our approach is that it is agnostic of underlying light transport effects, and can be combined with many existing rendering techniques by treating them as a black box. We show that our approach leads to effective variance reduction in several practical scenarios.

研究の動機と目的

• 主サンプル空間におけるシーン固有の重要度サンプリング分布を学習することで、モンテカルロパストレーシングの分散を低減すること。
• 既存のレンダラーをブラックボックスとして扱い、解析的光輸送モデルに依存しない手法を開発すること。
• 主サンプル空間の微分可能かつ可逆な変換を学習することで、効率的で破棄のないサンプリングを実現すること。
• ニューラルネットワークに基づくワープが、複雑な照明条件下で一様サンプリングや従来の重要度サンプリング手法を上回ることを示すこと。

提案手法

• 本手法は、一様分布から所望の非一様なターゲット密度へと非体積保存的かつ可逆的な変換を学習するため、Real NVPニューラルネットワークを用いる。
• ネットワークは、元のレンダラーによって生成された訓練サンプルのセットを用いて最大尤度推定で訓練される。
• Real NVPにより、ワープのヤコビアン行列式が効率的に計算可能であり、モンテカルロ積分における正しい変数変換が可能になる。
• 学習されたワープはレンダリング中に適用され、ターゲット密度からのサンプル生成が行われ、バイアスを生じさせることなく分散が低減される。
• 本アプローチは、内在する光輸送効果に依存しないため、BRDF、環境マップ、可視性、その他のコンponentsとも互換性がある。
• オクソリーなどの明示的なデータ構造を避けるために、密度情報は直接ニューラルネットワークのパラメータにエンコードされる。

実験結果

リサーチクエスチョン

• RQ1 レンダラーの内部論理にアクセスできない状況下でも、ニューラルネットワークが主サンプル空間において効果的でシーン依存の重要度サンプリング分布を学習できるか？
• RQ2 複雑な照明条件下において、本ブラックボックス手法は一様サンプリングや従来の重要度サンプリングと比較してどの程度の性能を示すか？
• RQ3 サンプルの破棄や追加のデータ構造を必要とせずに、顕著な分散低減を達成できるか？
• RQ4 訓練データのサイズやネットワーク容量が、学習された密度の正確さに与える影響は何か？
• RQ5 本手法は、間接照明、ボケ、運動ブラーなどの異なるレンダリング効果に一般化可能か？

主な発見

• 困難な1バウンス間接照明シナリオにおいて、本手法は平均二乗誤差（MSE）が0.0016813にまで低下し、等価なサンプル数のベースライン（0.0052876）および等価レンダータイムのベースライン（0.0027032）を上回った。
• 可視されない光源からの間接照明を伴うシーンでも、分散低減が有効に機能し、標準的手法が困難とする状況でも効果を示した。
• 2時間の参照画像と比較することで確認されたように、バイアスを導入せずにレンダリング誤差を顕著に低減した。
• PSS-MLTとは異なり、サンプルの破棄が一切ない状況で、本手法は効果を発揮した。
• 訓練時間は数分のオーダーであり、ワープ評価のランタイムコストはパストレーシングコストのわずか一部にとどまり、高品質レンダリングに実用的であった。
• 本手法は光輸送効果に依存せず、レンズサンプリング、時間的サンプリング、参加媒質への応用も可能である。