[論文レビュー] Covariate-Powered Empirical Bayes Estimation

Nikolaos Ignatiadis, Stefan Wager|arXiv (Cornell University)|Jun 4, 2019

Machine Learning and Algorithms参考文献 61被引用数 8

ひとこと要約

この論文は、多数の同時実験における真の効果の推定を改善するために、ノイズの多い実験結果と補助的共変数を組み合わせる共変数駆動型の経験的ベイズ推定量を導入する。任意のブラックボックス予測モデルを条件付き平均の推定に用いるプラグインアプローチと、SUREを用いた分散成分の推定を組み合わせることで、定数倍の要因内でミニマックスリスクを達成し、モデル不適合下でもロバストな収束性を示す。

ABSTRACT

We study methods for simultaneous analysis of many noisy experiments in the presence of rich covariate information. The goal of the analyst is to optimally estimate the true effect underlying each experiment. Both the noisy experimental results and the auxiliary covariates are useful for this purpose, but neither data source on its own captures all the information available to the analyst. In this paper, we propose a flexible plug-in empirical Bayes estimator that synthesizes both sources of information and may leverage any black-box predictive model. We show that our approach is within a constant factor of minimax for a simple data-generating model. Furthermore, we establish robust convergence guarantees for our method that hold under considerable generality, and exhibit promising empirical performance on both real and simulated data.

研究の動機と目的

• ノイズの多い実験結果と豊富な補助的共変数情報の統合を通じて、大規模な同時実験における真の効果の推定を改善すること。
• 共変数の下での真の効果の条件付き平均を任意のブラックボックス予測モデルで組み込める柔軟な経験的ベイズフレームワークの開発。
• 真の効果の平均関数に正則性条件が課された下で、この手法がミニマックスリスクの定数倍の範囲内にあるという理論的保証の確立。
• 仮定されたガウス階層モデルが不適合であっても、収束性と性能に関するロバストな保証の提供。

提案手法

• 観測された結果 $ Z_i $ と共変数 $ X_i $ を、推定された条件付き平均 $ \hat{m}(X_i) $ と推定された分散成分 $ \hat{A} $ に基づく縮小ルールを用いて組み合わせるプラグイン経験的ベイズ推定量を提案。
• スティーブンの不偏リスク推定（SURE）を用いて分散成分 $ A $ を推定し、縮小強度のデータ駆動型キャリブレーションを可能にする。
• 推定された $ \hat{m}(X_i) $ と $ \hat{A} $ のための2つのサンプルに分割する：独立性を保証し、妥当な推論を可能にする。
• 平均関数 $ m(\cdot) $ に対してリプシッツ型の正則性仮定を課した下で、推定問題のミニマックスリスクの下界を導出。
• 提案された推定量が、$ \sigma^2 $ および $ A $ に依存しない定数倍の要因内で、この下界に達することを確立。
• ジェイムズ＝スティーンの結果を一般化し、$ \mu_i \mid X_i $ に一般な分布的仮定を課した下でも、元の $ Z_i $ および $ \hat{m}(X_i) $ 推定量よりも改善されることを示す。

実験結果

リサーチクエスチョン

• RQ1 統合的な経験的ベイズフレームワークは、ノイズの多い実験結果と補助的共変数を効果的に組み合わせ、真の効果の推定を改善できるか？
• RQ2 有限標本下で、観測結果と共変数に基づく予測との間の縮小強度をどのように適応的に推定できるか？
• RQ3 モデル不適合下でも、推定量のリスクに対してどのような理論的保証を提供できるか？
• RQ4 平均関数に正則性条件が課された非パラメトリックな設定下で、この手法は定数倍の要因内でミニマックス最適性を達成するか？

主な発見

• 提案された推定量は、未知の平均関数 $ m(\cdot) $ を持つガウス階層モデル下で、最適ベイズリスクの定数倍の範囲内でミニマックスリスクを達成する。
• 条件付き分布 $ \mu_i \mid X_i $ がガウスでない場合を含め、広範な一般性において収束保証を提供する。
• 実データおよびシミュレートデータ上の実験結果は、両方のベースライン推定量（元の結果と共変数のみの予測）を上回る強力な性能を示す。
• 分散成分 $ A $ のSUREベースの推定量は、期待値において一貫性を示し、収束速度が $ O(1/\sqrt{n}) $ であることが示された。
• 理論的分析により、この手法が広範な設定でベースライン推定量 $ \hat{\mu}_i = Z_i $ および $ \hat{\mu}_i = \hat{m}(X_i) $ よりも改善されることを確認した。
• モデル不適合に対してもロバストであることが、$ \mu_i \mid X_i $ の一般分布へのジェイムズ＝スティーン結果の拡張によって実証された。