[論文レビュー] Regularised Zero-Variance Control Variates for High-Dimensional Variance Reduction

Leah F. South, Chris J. Oates+2 more|arXiv (Cornell University)|Nov 13, 2018

Statistical Methods and Inference参考文献 60被引用数 19

ひとこと要約

この論文は、正則化回帰とサブセットベースの導出選択を活用して、モンテカルロ推定量における高次元の分散低減を実現する正則化ゼロ分散制御変数（ZV-CV）を提案する。正則化は、古典的な最小二乗法と比較して次元が高くなると性能が著しく向上し、計算コストも削減される。実装はRパッケージZVCVで利用可能である。

ABSTRACT

Zero-variance control variates (ZV-CV) are a post-processing method to reduce the variance of Monte Carlo estimators of expectations using the derivatives of the log target. Once the derivatives are available, the only additional computational effort lies in solving a linear regression problem. Significant variance reductions have been achieved with this method in low dimensional examples, but the number of covariates in the regression rapidly increases with the dimension of the target. In this paper, we present compelling empirical evidence that the use of penalised regression techniques in the selection of high-dimensional control variates provides performance gains over the classical least squares method. Another type of regularisation based on using subsets of derivatives, or a priori regularisation as we refer to it in this paper, is also proposed to reduce computational and storage requirements. Several examples showing the utility and limitations of regularised ZV-CV for Bayesian inference are given. The methods proposed in this paper are accessible through the R package ZVCV.

研究の動機と目的

• 高次元におけるゼロ分散制御変数（ZV-CV）の古典的最小二乗法の計算コストの高さと性能の悪さを是正すること。これは、共変数の急激な増加に起因する。
• 導出のサブセット選択または事前正則化を用いることで、高次元ZV-CVにおける計算および記憶コストを低減すること。
• ZV-CVの回帰ステップに正則化技術を適用することで、ベイズ推論における分散低減の性能を向上させること。
• 計算統計および機械学習分野の研究者にとって実用的かつアクセスしやすい実装を提供することを目的とし、RパッケージZVCVを通じて実現する。

提案手法

• リッジ回帰やラッソ回帰などの正則化回帰技術を用いて、高次元ZV-CVにおける関連する導出を同定し、過学習を低減するとともに安定性を向上させる。
• 事前正則化として、利用可能な導出のサブセットのみを選択することで、共変数の数を削減し、計算複雑性を低減する。
• 標準的なZV-CVフレームワーク（制御変数を対数目標密度の導出を用いて構築）を採用するが、高次元設定に対応するため正則化を導入して強化する。
• 導出情報から構築される設計行列に正則化を適用し、制御変数係数を推定する線形回帰問題を解く。
• 2段階アプローチを採用する：まず、対数目標密度の導出を計算し、次に正則化回帰を適用して効果的な制御変数を構築する。
• RパッケージZVCVを用いて、再現可能性と既存のベイズ推論パイプラインへの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正則化回帰技術は、古典的最小二乗法と比較して、高次元設定におけるゼロ分散制御変数の性能を向上させるか？
• RQ2 導出のサブセット（事前正則化）を用いることで、ZV-CVの分散低減性能と計算効率にどのような影響を与えるか？
• RQ3 高次元ZV-CVに正則化を適用する際の、分散低減と計算コストのトレードオフは何か？
• RQ4 どのような状況で正則化ZV-CVは、標準ZV-CVを上回る性能を発揮するか？

主な発見

• 正則化回帰技術は、共変数の数が多い場合に特に顕著に、古典的最小二乗法と比較して高次元ZV-CVにおける分散低減性能を著しく向上させる。
• 導出のサブセット選択による事前正則化は、計算および記憶要件を削減するが、分散低減性能の損失はほとんどない。
• 提案手法は、複数の高次元例において顕著な分散低減を達成しており、ベイズ推論における実用的有用性を示している。
• RパッケージZVCVは、ユーザーフレンドリーな実装を提供しており、研究者が自らのモンテカルロ推定問題に正則化ZV-CVを適用できる。
• 実証的結果から、正則化は高次元回帰における過学習を緩和し、より頑健で安定した制御変数推定をもたらすことが示された。
• 導出の数がサンプル数を上回るような状況でも、本手法は強固な性能を維持している。これは、高次元設定で一般的な課題である。