[論文レビュー] On Sampling from the Gibbs Distribution with Random Maximum A-Posteriori Perturbations

Tamir Hazan, Subhransu Maji+1 more|arXiv (Cornell University)|Sep 29, 2013

Blind Source Separation Techniques参考文献 24被引用数 30

ひとこと要約

本稿では、ポテンシャル関数に低次元のランダムな摂動を加えることで、Gibbs分布に対する新しいサンプリング手法を提案する。この手法により、最大事後確率（MAP）推論を用いて、近似的または不偏なサンプリングが可能になる。Gumbel分布のmax-stability性を活用することで、分割関数のよりタイトで高速な下界が得られ、従来のMCMCやGibbsサンプリングが困難となる高信号・高結合性の領域でも優れた性能を発揮する。

ABSTRACT

In this paper we describe how MAP inference can be used to sample efficiently from Gibbs distributions. Specifically, we provide means for drawing either approximate or unbiased samples from Gibbs' distributions by introducing low dimensional perturbations and solving the corresponding MAP assignments. Our approach also leads to new ways to derive lower bounds on partition functions. We demonstrate empirically that our method excels in the typical "high signal - high coupling" regime. The setting results in ragged energy landscapes that are challenging for alternative approaches to sampling and/or lower bounds.

研究の動機と目的

• 従来のMCMCやGibbsサンプリングの計算負荷を回避する、Gibbs分布のスケーラブルなサンプリング手法の開発。
• MAP推論の効率性を活用し、Gibbs分布からの不偏または近似的なサンプル生成の基盤を構築すること。
• ランダム摂動を用いて、分割関数のよりタイトで高速な下界を導出すること。
• 不規則なエネルギー分布を示す「高信号・高結合性」領域におけるサンプリングの課題に対処すること。
• ランダムなMAP摂動と真のGibbs分布との間の関係を形式化し、特に周辺確率の近似に関して考察すること。

提案手法

• ポテンシャル関数 θ(x) に独立同一分布に従うGumbel分布に従う摂動 γ(x) を加え、θ(x) + γ(x) を得る。
• Gumbel分布のmax-stability性を用いて、すべての x における θ(x) + γ(x) の最大値の期待値が、log Z（対数分割関数）に等しいことを示す。
• 複数の独立な摂動に対して θ(x) + γ(x) のargmaxを取ることで、Gibbs分布からの不偏サンプルを生成する。
• m 個の独立なMAP摂動実現の経験的平均を用いて分割関数 Z を近似し、Chebyshevの不等式による濃度保証を適用する。
• Lemma 2 および Corollary 2 を用いて、徐々にタイトになる下界の系列を導出し、近似が確率的に有効な下界であることを示す。
• 構造的予測タスクに本手法を適用し、MAP自体よりも優れた推定として、複数のランダムなMAP解の平均を用いる。また、セグメンテーションタスクにおける境界誤差を推定する。

実験結果

リサーチクエスチョン

• RQ1 ポテンシャル関数への低次元のランダム摂動を用いて、Gibbs分布からの不偏サンプルを生成できるか？
• RQ2 ランダムなMAP摂動の統計的性質をどのように活用し、分割関数のよりタイトで高速な下界を導出できるか？
• RQ3 本手法は、不規則なエネルギー分布を示す高信号・高結合性領域において、従来のサンプリング手法を上回る性能を示すか？
• RQ4 ランダムなMAP摂動の周辺確率が、Gibbs分布のそれと近似される理論的根拠は何か？
• RQ5 本手法は、現実の構造的予測問題において、実用的かつ計算的に効率的なサンプリングと分割関数推定を可能にするか拡張可能か？

主な発見

• 各 θ(x) + γ(x) のargmaxが真の分布からのサンプルに対応するため、摂動されたポテンシャル関数上でMAP問題を解くことで、Gibbs分布からの不偏サンプルが得られる。
• γ(x) が平均0の独立同一Gumbel分布に従うとき、すべての x における θ(x) + γ(x) の最大値の期待値は、log Z（対数分割関数）に正確に等しい。
• m 個の独立なMAP摂動実現の経験的平均は、log Z の濃度推定を提供し、誤差の境界はChebyshevの不等式により与えられる：Pr[|1/m ∑ max(θ(x)+γj(x)) - log Z| ≥ ε] ≤ π/(6mε²)。
• 従来の変分的手法と比較して、特に高信号・高結合性領域において、よりタイトで高速な分割関数の下界を達成する。
• セグメンテーションタスクでは、20個のランダムなMAP解の平均が境界誤差を1.04ピクセルにまで低減した。これはMAP解の3.51ピクセル誤差よりも顕著に優れている。
• 不規則なエネルギー分布を示す領域では、標準的なMCMCやGibbsサンプラーが計算的に非現実的となるが、本手法はそのような状況でも優れた性能を発揮する。