[論文レビュー] Machine Learning for Variance Reduction in Online Experiments

Yongyi Guo, Dominic Coey+4 more|arXiv (Cornell University)|Jun 14, 2021

Advanced Causal Inference Techniques参考文献 28被引用数 9

ひとこと要約

本稿では、クロスフィットとロバストな線形回帰を用いてオンラインA/Bテストにおける分散を低減する、機械学習回帰補正処理効果推定器MLRATEを提案する。共変量からの結果の予測モデルを活用することで、差分推定値と比較して最大70％低い分散を達成し、機械学習予測が不正確であっても漸近的有効性を保つ。

ABSTRACT

We consider the problem of variance reduction in randomized controlled trials, through the use of covariates correlated with the outcome but independent of the treatment. We propose a machine learning regression-adjusted treatment effect estimator, which we call MLRATE. MLRATE uses machine learning predictors of the outcome to reduce estimator variance. It employs cross-fitting to avoid overfitting biases, and we prove consistency and asymptotic normality under general conditions. MLRATE is robust to poor predictions from the machine learning step: if the predictions are uncorrelated with the outcomes, the estimator performs asymptotically no worse than the standard difference-in-means estimator, while if predictions are highly correlated with outcomes, the efficiency gains are large. In A/A tests, for a set of 48 outcome metrics commonly monitored in Facebook experiments the estimator has over 70% lower variance than the simple difference-in-means estimator, and about 19% lower variance than the common univariate procedure which adjusts only for pre-experiment values of the outcome.

研究の動機と目的

• 機械学習予測子を用いた、実用的でスケーラブルなオンライン実験における分散低減手法の開発。
• 機械学習予測が結果と相関がなくても推定子がロバストであることを保証すること。
• 一般条件下で漸近的正規性およびナーダイブ信頼区間の有効性を証明すること。
• 48のFacebookメトリクスにおける実世界のA/Aテストで顕著な分散低減を実証すること。
• 大規模オンライン実験プラットフォームへのMLベースの補正をスケーラブルに展開する際の計算課題に対処すること。

提案手法

• MLRATEは、互いに重複しないデータサブセットで機械学習モデルを訓練することでクロスフィットを実施し、予測値を推定サンプルとは独立に保つ。
• その後の線形回帰モデルにMLによる予測結果を共変量として含め、処理効果を補正する。
• ML段階からの推定バイアスを制御することで、ナーダイブ信頼区間の漸近的正規性と有効性を保証する。
• モデルに依存しない手法であり、MLモデルが真の条件付き平均に収束することや、結果との関係が線形であると仮定しない。
• 推定子はロバストである：ML予測値が結果と相関がない場合、分散は差分推定値と同等かそれ以下になる。
• ネウマン級数展開と高確率的バインディングを用い、弱い正則性条件のもとで漸近的分布的性質を確立する。

実験結果

リサーチクエスチョン

• RQ1 複雑な機械学習予測子を用いてもバイアスを導入せずに、オンライン実験推定子の分散を低減できるか？
• RQ2 複雑なML予測子を用いる場合、クロスフィットを活用することで信頼区間の漸近的有効性をどのように保証できるか？
• RQ3 ML予測値が結果と相関がない場合、推定子の最悪性能はどの程度か？
• RQ4 一変量の事前実験値調整と比較して、多変量かつ非線形なML予測子を用いることで、実際の分散低減はどの程度達成できるか？
• RQ5 大規模オンライン実験プラットフォームにおける本番環境での効率的スケーラビリティは可能か？

主な発見

• 48の一般的なFacebookメトリクスにおけるA/Aテストでは、MLRATEが標準的な差分推定値と比較して分散を70％以上低減した。
• MLRATEは、事前実験の結果値のみを用いた一変量回帰補正と比較して、約19％低い分散を達成した。
• 一部のメトリクスでは分散低減率が50％を超えており、統計的パワーの顕著な向上が得られた。
• ML予測値が結果と相関がない場合でも、ナーダイブ信頼区間の漸近的有効性を維持した。
• 理論的分析により、一般条件下で一貫性および漸近的正規性が確認され、劣悪なML性能に対してもロバストであることが示された。
• 事前計算された予測値と効率的なクロスフィット手順を用いることで、計算上のスケーラビリティが実現可能である。