[論文レビュー] Adaptive Monte Carlo on multivariate binary sampling spaces

Christian Schäfer, Nicolás Chopin|arXiv (Cornell University)|Jul 31, 2010

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿では、多次元バイナリ空間における適応型モンテカルロ法のための高度なパrametric族を提案し、線形依存性をバイナリ成分間にモデル化することで、クロスエントロピー法および逐次モンテカルロ法を向上させる。主な貢献は、100個の共変量を有する実データを用いた高次元モデル選択問題における効率性の向上であり、標準的な独立成分提案では失敗するが、構造的パラメトリック族を用いた適応型手法では成功する。

ABSTRACT

A Monte Carlo algorithm is said to be adaptive if it can adjust automaticallyits current proposal distribution, using past simulations. The choice of the para-metric family that defines the set of proposal distributions is critical for a goodperformance. We treat the problem of constructing such parametric families foradaptive sampling on multivariate binary spaces.A practical motivation for this problem is variable selection in a linear regres-sion context, where we need to either find the best model, with respect to somecriterion, or to sample from a Bayesian posterior distribution on the model space.In terms of adaptive algorithms, we focus on the Cross-Entropy (CE) method foroptimisation, and the Sequential Monte Carlo (SMC) methods for sampling.Raw versions of both SMC and CE algorithms are easily implemented using bi-nary vectors with independent components. However, for high-dimensional modelchoice problems, these straightforward proposals do not yields satisfactory re-sults. The key to advanced adaptive algorithms are binary parametric familieswhich take at least the linear dependencies between components into account.We review suitable multivariate binary models and make them work in thecontext of SMC and CE. Extensive computational studies on real life data with ahundred covariates seem to prove the necessity of more advanced binary families,to make adaptive Monte Carlo procedures efficient. Besides, our numerical resultsencourage the use of SMC and CE methods as alternatives to techniques basedon Markov chain exploration.

研究の動機と目的

• 多次元バイナリ空間における線形依存性を捉えるパラメトリック族を、適応型モンテカルロのためのものとして開発すること。
• 高次元モデル選択問題におけるクロスエントロピー法および逐次モンテカルロ法の効率性を向上させること。
• 高次元バイナリサンプリング空間における独立成分提案の限界を解決すること。
• ベイジアンモデル空間探索におけるマルコフ連鎖に基づく手法の実用的代替案を提供すること。

提案手法

• 成分間の線形依存性を組み込んだ多次元バイナリパラメトリック族の設計。
• これらの構造的族を用いて、バイナリモデル空間における最適化のためのクロスエントロピー法の適応。
• 同じパラメトリック族を用いて、事後分布からの効率的サンプリングを実現するように逐次モンテカルロを拡張。
• 過去のシミュレーションに基づく提案パラメータの反復的学習により、サンプリング分布を適応化。
• SMCおよびCEフレームワーク内に提案された族を適用し、高次元設定における収束性および探索性の向上。
• 最大100個の共変量を有する実データセットを用いた検証により、スケーラビリティおよび性能を評価。

実験結果

リサーチクエスチョン

• RQ1 線形依存性をバイナリ成分間にモデル化する構造的パラメトリック族は、高次元モデル選択における適応型モンテカルロの性能を向上させ得るか？
• RQ2 構造的族を用いたSMCおよびCE法は、標準的な独立成分提案と比較して収束性および精度の面で優れているか？
• RQ3 依存性を認識する提案を持つ適応型アルゴリズムは、ベイジアンモデル空間探索においてマルコフ連鎖ベースの手法をどの程度上回るか？
• RQ4 与えられた基準下でのモデル選択の効率性に、パラメトリック族の選択が及ぼす影響はどの程度か？
• RQ5 SMCおよびCEは、単純な独立サンプリングを超えた多次元バイナリ空間に対しても、実際に有効に適用可能か？

主な発見

• 100個の共変量を有する高次元モデル選択問題において、SMCおよびCE法における標準的な独立成分提案では満足のいく結果が得られない。
• 線形依存性を考慮するパラメトリック族の使用は、多次元バイナリ空間における適応型モンテカルロアルゴリズムの性能を顕著に向上させる。
• 実データを用いた計算的スタディにより、複雑なモデル空間の効率的探索には高度なバイナリ族が不可欠であることが示された。
• 構造的族を用いた提案されたSMCおよびCE法は、ナイーブな実装を上回り、マルコフ連鎖モンテカルロ手法の実用的代替手段を提供する。
• 数値的結果は、SMCおよびCEを高次元設定におけるベイジアンモデル空間サンプリングの堅牢で効率的な代替手段として採用する価値があることを支持する。