[論文レビュー] Neural Importance Sampling

Thomas Müller, Brian McWilliams+3 more|arXiv (Cornell University)|Aug 11, 2018

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

この論文では、モンテカルロ積分のための最適なサンプリング密度を学習するために、特に区分的多項式結合層を備えた拡張型正規化フローを用いた、ニューラル重要度サンプリング（Neural Importance Sampling）という手法を紹介している。高速で逆変換可能かつ表現力に富んだサンプリング分布を可能にすることで、レンダリングや画像生成タスクにおいて、最先端の手法よりも低い分散と高い精度を達成している。

ABSTRACT

We propose to use deep neural networks for generating samples in Monte Carlo integration. Our work is based on non-linear independent components estimation (NICE), which we extend in numerous ways to improve performance and enable its application to integration problems. First, we introduce piecewise-polynomial coupling transforms that greatly increase the modeling power of individual coupling layers. Second, we propose to preprocess the inputs of neural networks using one-blob encoding, which stimulates localization of computation and improves inference. Third, we derive a gradient-descent-based optimization for the KL and the $\chi^2$ divergence for the specific application of Monte Carlo integration with unnormalized stochastic estimates of the target distribution. Our approach enables fast and accurate inference and efficient sample generation independently of the dimensionality of the integration domain. We show its benefits on generating natural images and in two applications to light-transport simulation: first, we demonstrate learning of joint path-sampling densities in the primary sample space and importance sampling of multi-dimensional path prefixes thereof. Second, we use our technique to extract conditional directional densities driven by the product of incident illumination and the BSDF in the rendering equation, and we leverage the densities for path guiding. In all applications, our approach yields on-par or higher performance than competing techniques at equal sample count.

研究の動機と目的

• モンテカルロ積分における高い分散の課題を、表現力に富み、逆変換可能なサンプリング密度の学習によって解決すること。
• 統合領域の次元数に依存しない、効率的かつ正確なPDF評価とサンプル生成を可能にすること。
• 光輸送シミュレーションのような複雑で高次元の問題における重要度サンプリングの性能を向上させること。
• 非正規化推定値を用いたKL発散度とχ²発散度に基づく、推定分散を最小化する微分可能最適化フレームワークの構築。
• パスガイドやレンダリングにおける統合パスサンプリングといった実世界の応用において、この手法の有効性を実証すること。

提案手法

• 各層におけるモデル化能力を向上させるために、区分的多項式結合変換（区分的線形および区分的2次）を用いてNICE（非線形独立成分推定）を拡張する。
• 計算の局所化を向上させ、推論効率を高めるために、ネットワーク入力のための1ボリュームエンコーディングを導入する。
• 目的分布の非正規化確率的推定値を用いて、KL発散度とχ²発散度を最小化する勾配降下ベースの最適化戦略を開発する。
• 結合層における分離性を維持することで、逆変換性と正確なPDF評価を保ち、ヤコビアン行列式の計算が容易になるようにする。
• 正規化フローを用いて、単純なベース分布からの変換として、複雑でマルチモーダルな分布をモデル化する。
• 学習された密度を用いて、最適な重要度サンプリングによりモンテカルロ推定量の分散を最小化するサンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローを用いた深層ニューラルネットワークは、モンテカルロ積分における分散を顕著に低減する、表現力に富み、逆変換可能なサンプリング密度を学習できるか？
• RQ2 区分的多項式結合層は、アフィン結合層と比較して、表現力の向上と層数の削減にどのように寄与するか？
• RQ3 1ボリュームエンコーディングは、高次元積分問題における計算の局所化と推論速度の向上に寄与するか？
• RQ4 非正規化推定値を用いたKL発散度とχ²発散度の最適化戦略は、実際の訓練において安定的かつ効果的であるか？
• RQ5 このフレームワークは、パスガイドや多次元パスプレフィックスサンプリングといった複雑なレンダリング応用において、既存の重要度サンプリング手法を上回る性能を示せるか？

主な発見

• 光輸送シミュレーションにおいて、同等のサンプル数で競合手法と同等またはそれ以上の性能を達成した。
• 区分的多項式結合層はモデル化能力を顕著に向上させ、少ない層数で高速な推論を実現しながらも、高い精度を維持した。
• 1ボリュームエンコーディングは、計算の局所化を向上させ、推論速度を向上させつつも、サンプル品質に悪影響を及げなかった。
• KL発散度とχ²発散度の勾配ベース最適化により、目的分布の非正規化確率的推定値を用いても、安定した訓練が可能となった。
• パスガイドの応用において、入射放射照度とBSDFの積から条件付き方向密度を効果的に抽出でき、サンプリング効率が向上した。
• 高次元の自然画像分布に対しても優れた性能を示し、レンダリングを越えた一般化能力を示した。