[論文レビュー] Deep Learning for Sampling from Arbitrary Probability Distributions.

Felix Horger, Tobias Würfl+2 more|arXiv (Cornell University)|Jan 12, 2018

Gaussian Processes and Bayesian Inference参考文献 6被引用数 3

ひとこと要約

この論文では、トレーニング中にジェンセン・シノン・ダイバージェンスを最小化することで、任意の既知の1次元確率分布からのサンプリングを学習する、完全結合型ニューラルネットワークを提案する。この手法は高いサンプリング効率を達成し、独立および相関のあるサンプリングを両方サポートしており、解析的・数値的前処理を一切必要とせず、任意の分布に一般化可能である。2次元への拡張も実証済みである。

ABSTRACT

This paper proposes a fully connected neural network model to map samples from a uniform distribution to samples of any explicitly known probability density function. During the training, the Jensen-Shannon divergence between the distribution of the model's output and the target distribution is minimized. We experimentally demonstrate that our model converges towards the desired state. It provides an alternative to existing sampling methods such as inversion sampling, rejection sampling, Gaussian mixture models and Markov-Chain-Monte-Carlo. Our model has high sampling efficiency and is easily applied to any probability distribution, without the need of further analytical or numerical calculations. It can produce correlated samples, such that the output distribution converges faster towards the target than for independent samples. But it is also able to produce independent samples, if single values are fed into the network and the input values are independent as well. We focus on one-dimensional sampling, but additionally illustrate a two-dimensional example with a target distribution of dependent variables.

研究の動機と目的

• 任意の既知の確率密度関数に対して、従来の解析的・数値的技法を回避するニューラルネットワークベースのサンプリング手法を開発すること。
• 一度のトレーニングで、明示的に与えられた任意の確率密度関数から高効率にサンプリングできる、単一のトレーニング可能なモデルを実現すること。
• 設計上、独立および相関のあるサンプリングを両方サポートすることで、モンテカルロ応用における収束速度の向上を実現すること。
• 従来の一変量に限らない、従属変数を含む多次元分布への適用可能性を示すこと。
• 逆関数サンプリング、棄却サンプリング、MCMC、GMMベース手法の代替として即時利用可能なプラグアンドプレイな代替手法を提供すること。

提案手法

• 完全結合型順方向ニューラルネットワークをトレーニングし、入力として一様分布からのサンプルを入力として、目的の確率密度関数に一致するサンプルへ変換する。
• トレーニングの目的関数として、モデル出力分布とターゲット分布との間のジェンセン・シノン・ダイバージェンスを最小化する。
• バックプロパゲーションを用いて、JSダイバージェンス損失に基づきネットワーク重みを更新し、サンプリング変換のエンドツーエンド学習を可能にする。
• 入力ノイズは一様分布から独立に抽出され、ネットワークは所望の分布への決定的マッピングを学習する。
• 構造的または依存的な入力を供給することで、相関のあるサンプルを生成可能であり、独立した入力を用いることで独立サンプルを生成可能である。
• 2次元への拡張は、従属変数を含む連合分布をモデル化することで実現され、一変量ケースを超えた一般化の有効性が実証された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、解析的逆関数や棄却ステップを一切必要とせず、任意の確率分布からのサンプリングを効果的に学習できるか？
• RQ2 このフレームワークにおいて、独立出力と相関出力の間で、サンプリング効率および収束速度にどのような差が生じるか？
• RQ3 このモデルは、従属成分を含む多次元分布へどの程度一般化できるか？
• RQ4 ジェンセン・シノン・ダイバージェンスを最小化することで、実際の分布マッチングが安定的かつ正確に達成できるか？
• RQ5 このアプローチは、MCMC や 棄却サンプリングといった既存手法のスケーラブルで汎用的な代替手段として機能できるか？

主な発見

• 実験において、トレーニング収束が確認され、一様入力をターゲット分布に効果的にマッピングすることができた。
• 反復的または棄却ベースのステップを回避するため、従来のサンプリング手法に比べて高いサンプリング効率を達成した。
• 相関のあるサンプルと独立なサンプルの両方を生成可能であり、相関サンプリングによりモンテカルロ推定の収束速度が向上した。
• 従属変数を含む2次元分布に対しても一般化可能であり、一変量ケースを超えたスケーラビリティを実証した。
• トレーニング後には追加の解析的・数値的計算を一切必要とせず、任意の既知の確率密度関数に即座に適用可能である。
• 逆関数サンプリング、棄却サンプリング、MCMC手法の代替として、汎用的で微分可能かつトレーニング可能な代替手段を提供した。