[論文レビュー] Properties of the Affine Invariant Ensemble Sampler in high dimensions

David Huijser, Jesse Goodman+1 more|arXiv (Cornell University)|Sep 7, 2015

Markov Chains and Monte Carlo Methods参考文献 15被引用数 20

ひとこと要約

この論文は、高次元問題におけるアフィン不変エンsemblesamplerの「ストレッチ・ムーブ」の性能を調査し、混合が悪く推定値が偏るため、深刻な収束問題を示していることを明らかにした。トレースプロットでは急速に収束しているように見えるが、次元数が高くなると（n > 50）、特に相関のあるガウス分布およびローゼンブック分布において真の平均と分散を正しく回復できない。これは、中〜高次元の推論においてストレッチ・ムーブを単独で信頼すべきでないことを示している。

ABSTRACT

We present theoretical and practical properties of the affine-invariant ensemble sampler Markov chain Monte Carlo method. In high dimensions the affine-invariant ensemble sampler shows unusual and undesirable properties. We demonstrate this with an $n$-dimensional correlated Gaussian toy problem with a known mean and covariance structure, and analyse the burn-in period. The burn-in period seems to be short, however upon closer inspection we discover the mean and the variance of the target distribution do not match the expected, known values. This problem becomes greater as $n$ increases. We therefore conclude that the affine-invariant ensemble sampler should be used with caution in high dimensional problems. We also present some theoretical results explaining this behaviour.

研究の動機と目的

• アフィン不変エンsemble samplerのストレッチ・ムーブが高次元の目的分布でどのように振る舞うかを調査すること。
• トレースプロットでは急速に収束しているように見えるが、高次元では正確な事後分布推定が得られない理由を特定すること。
• 真の分布が未知である状況下で、収束が遅いことを検出する診断ツールを評価すること。
• 次元数が50を超えるとストレッチ・ムーブが効果を失う理論的・実験的証拠を提供すること。
• 真の分布が未知の状況で、AIESのストレッチ・ムーブに依存するのを避けるべきであることを研究者に警告すること。

提案手法

• 収束特性をテストするために、既知の平均と共分散を持つ高次元の相関のあるガウス分布を目的分布として用いた。
• 非ガウス的で強く相関のある分布の性能を評価するため、多変量ローゼンブック分布を第二のテストケースとして用いた。
• ストレッチ・ムーブはemcee Pythonライブラリを用いて実装され、補完的なワーカーを一様に選択したアフィン不変プロポーザルに基づいてワーカーを更新した。
• 受容確率には、n次元空間における1次元のプロポーザル分布を補正するための$ Z^{n-1} $要因が組み込まれた。
• 診断ツールには、選択されたワーカーのトレースプロット、受容された$ Z $値のヒストグラム、および適応版ゲルマン＝ルービンの$ R-1 $統計量が含まれる。
• 理論的分析では、$ Z^{n-1} $要因が高次元においてプロポーザル効率を歪め、混合が悪く収束が遅くなる原因となることを検討した。

実験結果

リサーチクエスチョン

• RQ1 AIESのストレッチ・ムーブは、混合が悪く推定値が不正確であるにもかかわらず、なぜ高次元で急速に収束しているように見えるのか？
• RQ2 AIESアルゴリズムにおける次元数の増加に伴い、受容率と$ Z $値の分布はどのように変化するか？
• RQ3 トレースプロットが収束していると誤解を招く程度はどの程度か？
• RQ4 真の目的分布が未知である状況で、AIESにおける収束が遅いことを信頼できる指標で検出するにはどうすればよいか？
• RQ5 多変量ローゼンブック関数のような強く相関のある高次元分布において、ストレッチ・ムーブの性能はどのように劣化するか？

主な発見

• AIESのストレッチ・ムーブは、高次元の相関のあるガウス分布の目的分布において、真の平均と分散に収束しない。トレースプロットがそれを示唆しても同様である。
• $ n > 50 $ の場合、混合が極めて遅く、個々のワーカーがパrameter空間の狭い領域に閉じ込められているにもかかわらず、トレースプロットでは安定しているように見える。
• 受容された$ Z $値の分布は二峰性を示し、$ Z=1 $付近にクラスタリングする。これは、現在の位置から大きく離れたプロポーザルがほとんど受容されないことを示している。
• 適応版ゲルマン＝ルービン診断では収束が悪いことが判明し、$ R-1 $値が長時間にわたり高く保たれており、有効な探索が行われていないことを示している。
• 個々のワーカーのトレースプロットは誤解を招く：$ n=10 $ ではよく混合しているように見えるが、$ n=50 $ および $ n=100 $ では移動が制限され、相対的な順序の変化も少ない。
• 理論的分析により、受容確率の$ Z^{n-1} $要因が、高次元において現在のワーカーから遠く離れたプロポーザルを抑制し、特に探索効率が著しく低下することを確認した。