[論文レビュー] On Measure Concentration of Random Maximum A-Posteriori Perturbations

Francesco Orabona, Tamir Hazan+2 more|arXiv (Cornell University)|Oct 15, 2013

Markov Chains and Monte Carlo Methods参考文献 29被引用数 10

ひとこと要約

本稿では、Gumbel分布ノイズを用いたランダムな最大後確信度（MAP）摂動に対して、新しい測度濃縮不等式を導出し、少数のサンプルで期待MAP値の効率的推定を可能にする。主な貢献は、Gumbel分布に対するPoincaré不等式および修正済み対数Sobolev不等式の確立であり、これらは指数的濃縮を保証し、低次元のMAPソルバを用いてギブス分布の期待値を高精度に推定可能にし、MCMCに比べて計算コストを著しく低減する。

ABSTRACT

The maximum a-posteriori (MAP) perturbation framework has emerged as a useful approach for inference and learning in high dimensional complex models. By maximizing a randomly perturbed potential function, MAP perturbations generate unbiased samples from the Gibbs distribution. Unfortunately, the computational cost of generating so many high-dimensional random variables can be prohibitive. More efficient algorithms use sequential sampling strategies based on the expected value of low dimensional MAP perturbations. This paper develops new measure concentration inequalities that bound the number of samples needed to estimate such expected values. Applying the general result to MAP perturbations can yield a more efficient algorithm to approximate sampling from the Gibbs distribution. The measure concentration result is of general interest and may be applicable to other areas involving expected estimations.

研究の動機と目的

• 現代の機械学習で一般的な高次元かつ不規則な事後分布の形状において、MCMCサンプリングの高い計算コストを軽減すること。
• MAP摂動の期待値の効率的近似を可能にし、これはギブス分布からの無偏サンプリングの鍵たる。
• 有界でないGumbel分布に従う確率変数の関数に対する一般的な測度濃縮結果を導出すること。
• 複雑なモデルにおけるフル次元サンプリングの代替手段として、低次元MAP摂動のスケーラブルな利用を支援すること。
• 確率的最適化および推論における分散と濃縮を分析するための理論的ツール（Poincaré不等式および修正済み対数Sobolev不等式）を提供すること。

提案手法

• Gumbel分布は強い対数凸性を示さず、有界でもないため、MAP摂動関数の分散を制御するための、Gumbel分布に対する新規なPoincaré不等式を導出する。
• BobkovとLedoux（1997）の枠組みを用い、Gumbel分布の尾部挙動に適応した修正済み対数Sobolev不等式を導入する。
• これらの不等式を用いて、MAP摂動の標本平均がその期待値からどれほど逸脱するかを評価し、指数的濃縮を証明する。
• 濃縮バウンドを用いて、独立同分布の少数のサンプルで低次元MAP摂動の期待値を推定可能であることを正当化する。
• 魅力的スピンガラスモデルにおけるMAP計算を効率的に行うためのグラフカットアルゴリズムを活用し、実証的妥当性を検証する。
• 10^4変数を有する100×100スピンガラスモデルを用いた実験により、標本平均の収束を測定し、理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 有界でないサポートと強い対数凸性の欠如を示すGumbel分布に従う確率変数の関数に対して、測度濃縮不等式を確立できるか？
• RQ2 少数のサンプルで、低次元MAP摂動の期待値を高い確率でどの程度の精度で推定できるか？
• RQ3 MAP摂動の標本平均の指数的濃縮は、高次元モデルにおけるギブス分布サンプリングの効率性にどのように影響を与えるか？
• RQ4 導出されたPoincaré不等式および対数Sobolev不等式は、他の非対数凸性または重尾分布に対しても一般化可能か？
• RQ5 大規模モデルにおける低次元MAP摂動サンプリングの実効的性能は、収束速度および精度の観点でどの程度か？

主な発見

• 本稿では、Gumbel分布に対する新しいPoincaré不等式を確立し、Gumbel確率変数の関数における分散制御を可能にした。
• Gumbel分布に対する修正済み対数Sobolev不等式が導出され、強い対数凸性が欠如するにもかかわらず、測度の指数的濃縮を支持する。
• ランダムなMAP摂動の標本平均は、その期待値のまわりに指数的に濃縮する。偏差εに対して、その確率はexp(−cε²)の速度で減少する。
• 10^4変数を有するスピンガラスモデルにおいて、わずか10個のサンプルでMAP摂動の期待値を高い精度で推定可能であることが実験で示された。
• 標本平均の偏差のヒストグラムは指数的減衰を示し、さまざまなサンプルサイズにおいて理論的濃縮バウンドが確認された。
• 本手法により、高次元で不規則な事後分布の状況において、フルMCMCの高コストを回避しつつ、効率的かつスケーラブルにギブス分布からのサンプリングが可能となった。