[論文レビュー] Nonparametric Empirical Bayes Estimation on Heterogeneous Data

Banerjee, Trambak, Luella Fu+3 more|arXiv (Cornell University)|Feb 28, 2020

Statistical Methods in Clinical Trials参考文献 61被引用数 15

ひとこと要約

本稿では、分散などのねんくうパラメータが研究単位ごとに異なる異質的データにおける大規模推定における選択バイアスを是正するため、非パrametricな経験ベイズ構造Tweedie推定量（NEST）を導入する。Tweedieの公式をカーネル化されたSteinの乖離度に基づいて拡張することで、未知の事前分布を非パrametricにモデル化し、重み付き二乗誤差損失の下で漸近的最適性を達成する。シミュレーションおよび野球の打率や共同基金のシャープレシオといった実世界の応用事例において、既存の手法を上回る性能を示す。

ABSTRACT

The simultaneous estimation of many parameters based on data collected from corresponding studies is a key research problem that has received renewed attention in the high-dimensional setting. Many practical situations involve heterogeneous data where heterogeneity is captured by a nuisance parameter. Effectively pooling information across samples while correctly accounting for heterogeneity presents a significant challenge in large-scale estimation problems. We address this issue by introducing the ``Nonparametric Empirical Bayes Structural Tweedie" (NEST) estimator, which efficiently estimates the unknown effect sizes and properly adjusts for heterogeneity via a generalized version of Tweedie's formula. For the normal means problem, NEST simultaneously handles the two main selection biases introduced by heterogeneity: one, the selection bias in the mean, which cannot be effectively corrected without also correcting for, two, selection bias in the variance. We develop theory to show that NEST is asymptotically as good as the optimal Bayes rule that uniquely minimizes a weighted squared error loss. In our simulation studies NEST outperforms competing methods, with much efficiency gains in many settings. The proposed method is demonstrated on estimating the batting averages of baseball players and Sharpe ratios of mutual fund returns. Extensions to other members of the two-parameter exponential family are discussed.

研究の動機と目的

• 研究単位ごとにねんくうパラメータ（例：分散）が異質である場合の、大規模推定における選択バイアスを是正すること。
• 既知または同一のねんくうパラメータを仮定しないで、変動する異質性を考慮する非パrametricな経験ベイズ推定量を開発すること。
• 異分散性下で重み付き二乗誤差損失を最小化する理論的ベイズルールに対する漸近的最適性を達成すること。
• 異質的データを含むシミュレーションおよび実世界の応用事例において、既存の縮小推定および経験ベイズ手法を上回ること。
• 未知のねんくうパラメータを伴う2パラメータ指数型分布族へのTweedieの公式の柔軟でデータ駆動のアプローチによる拡張

提案手法

• 効果量とねんくうパラメータの同時事前分布を推定するために、カーネル化されたSteinの乖離度を用いてTweedieの公式を一般化したNEST推定量を提案する。
• 適合性と滑らかさのトレードオフを制御する平滑化パラメータλを用いた、罰則付き尤度アプローチに基づく凸最適化フレームワークを用いて非パラメトリック事前分布を推定する。
• 対数周辺密度の微分を近似するためのカーネルベースのスコア関数推定量を採用し、構造的Tweedie補正の効率的計算を可能にする。
• 正規平均の問題およびWeibullのスケール混合分布に適用し、ねんくうパラメータが既知または未知の場合のNEST推定量の明示的表現を導出する。
• ねんくうパラメータが未知の場合の反復的推定戦略を実装し、経験ベイズの原則に基づいて主なパラメータとねんくうパラメータの縮小を交互に実行する。
• シミュレーションおよび野球の打率と共同基金のシャープレシオの実データを用いて手法を検証し、異分散性下でも頑健な性能を示す。

実験結果

リサーチクエスチョン

• RQ1 分散が大規模推定問題全体で異質である状況下でも、非パラメトリックな経験ベイズ手法が選択バイアスを効果的に是正できるか。
• RQ2 異分散性下で、NEST推定量は従来の縮小推定および経験ベイズ手法と比べて、バイアス是正および平均二乗誤差の観点でどの程度優れているか。
• RQ3 重み付き二乗誤差損失の下で、理論的ベイズルールに対する漸近的最適性は、NEST推定量がどの程度達成されるか。
• RQ4 未知のねんくうパラメータを伴う2パラメータ指数型分布族への一般化されたTweedieの公式は、非パラメトリック事前分布を用いて拡張可能か。
• RQ5 高次元設定における他の非パラメトリック最尤推定（NPMLE）手法と比較して、NESTの計算スケーラビリティはどの程度か。

主な発見

• NESTは、真の未知の事前分布下で重み付き二乗誤差損失を最小化するベイズルールに漸近的に収束し、漸近的最適性を達成する。
• シミュレーションでは、線形縮小およびしきい値推定器といった競合手法を一貫して上回り、異分散性下で顕著な効率性の向上を示す。
• 従来の推定量がしばしば混同する平均と分散の両方の選択バイアスを同時に是正する効果が顕著である。
• 実データにおいてもNESTは強く優れた実証的性能を示す：野球選手の打率および共同基金のシャープレシオの推定値が、ベンチマーク手法よりもより正確である。
• ヘッセ行列評価に起因する計算複雑性（O(n³)）がやや高いが、中規模問題では依然として競争力を持つ。今後の課題として、1次最適化手法による最適化の高速化が進められる。
• Weibullのスケール混合分布およびその他の2パラメータ指数型分布族への拡張は実現可能であり、十分統計量が利用可能な場合には閉形式の推定量が得られる。