[論文レビュー] Regularised Zero-Variance Control Variates

Leah F. South, Antonietta Mira+1 more|arXiv (Cornell University)|Nov 13, 2018

Statistical Methods and Inference被引用数 2

ひとこと要約

この論文は、高次元ベイズ推論におけるモンテカルロ推定量の分散を低減するために、正則化付きゼロ分散制御変数（ZV-CV）を導入する。古典的な最小二乗法ZV-CVにおける次元の呪いを緩和するために、回帰（例：Lasso）や事前選択による対数尤度関数の導関数の選択を適用することで、計算効率と分散低減が著しく向上し、正確性を維持する。これらの手法はRパッケージZVCVでも利用可能である。

ABSTRACT

Zero-variance control variates (ZV-CV) are a post-processing method to reduce the variance of Monte Carlo estimators of expectations using the derivatives of the log target. Once the derivatives are available, the only additional computational effort lies in solving a linear regression problem. Significant variance reductions have been achieved with this method in low dimensional examples, but the number of covariates in the regression rapidly increases with the dimension of the target. In this paper, we present compelling empirical evidence that the use of penalised regression techniques in the selection of high-dimensional control variates provides performance gains over the classical least squares method. Another type of regularisation based on using subsets of derivatives, or a priori regularisation as we refer to it in this paper, is also proposed to reduce computational and storage requirements. Several examples showing the utility and limitations of regularised ZV-CV for Bayesian inference are given. The methods proposed in this paper are accessible through the R package ZVCV.

研究の動機と目的

• 古典的なゼロ分散制御変数の高次元スケーラビリティの問題に対処すること。これは、高次元において過剰な共変数と計算コストを伴う。
• 対数尤度関数の導関数にLassoなどの正則化回帰技術を活用することで、モンテカルロ推定量の分散低減性能を向上させること。
• 事前正則化、すなわち利用可能な導関数項の部分集合の選択により、計算およびストレージ要件を削減すること。
• ベイズ推論ワークフローへの実用的かつアクセス可能な実装を提供することを目的とし、RパッケージZVCVを通じて実現する。

提案手法

• ZV-CVにおける線形回帰問題に正則化回帰（例：Lasso、リッジ）を適用し、関連する導関数を選択し、高次元設定における過剰適合を低減すること。
• ヒューリスティックまたは構造的基準に基づいて、対数尤度関数の導関数の部分集合を事前に選択することで、共変数の数を制限する事前正則化を用いること。
• 制御変数を対数尤度関数の導関数の線形結合として定式化し、正則化最小二乗法により係数を学習すること。
• 標準的なモンテカルロ推定量に正則化された制御変数を統合することで、根本的なサンプリングプロセスを変更せずに分散を低減すること。
• 低次元および高次元のベイズモデルにおける実証的比較を通じて、性能を評価すること。これには、事後平均推定および周辺尤度推定が含まれる。

実験結果

リサーチクエスチョン

• RQ1 正則化回帰技術は、高次元設定におけるゼロ分散制御変数の分散低減性能を向上させることができるか？
• RQ2 導関数項の事前選択は、高次元モデルにおけるZV-CVの計算効率と正確性にどのように影響するか？
• RQ3 正則化付きと古典的最小二乗法ZV-CVを比較した場合、分散低減と計算コストのトレードオフはどのようなものか？
• RQ4 どのような種類のベイズ推論問題において、正則化付きZV-CVが最も顕著な利点をもたらすか？

主な発見

• Lassoなどの正則化回帰技術は、古典的な最小二乗法と比較して、共変数の数が標本サイズを上回る高次元ZV-CVにおいて、分散低減を著しく改善する。
• 導関数の部分集合の選択による事前正則化により、計算およびストレージコストが削減されつつ、強力な分散低減性能が維持される。
• 提案手法は、低次元および高次元の例の両方で顕著な分散低減を達成しており、特に困難な事後平均および周辺尤度推定タスクに対しても有効である。
• 実証的結果から、正則化付きZV-CVは、高次元設定において、有効サンプルサイズと推定の正確性の両面で、標準ZV-CVを上回ることが示された。