[論文レビュー] Empirical Bayes estimation of normal means, accounting for uncertainty in estimated standard errors

Mengyin Lu, Matthew Stephens|arXiv (Cornell University)|Jan 30, 2019

Statistical Methods and Inference参考文献 14被引用数 7

ひとこと要約

本稿では、標準誤差が推定されている場合の正規母平均の推定に対して、2段階の経験ベイズ手法を提案する。これは、標準誤差の不確実性を考慮しないままt分布を単純に適用するアプローチに内在する深刻な欠陥を是正するものである。まず経験ベイズによる標準誤差の縮小を行い、その後EB t-平均問題を解くことで、信頼性の高い点推定と区間推定が得られ、特に小標本領域において、単純な手法や便宜的な代替手法に比べて、精度と被覆率が著しく向上する。

ABSTRACT

We consider Empirical Bayes (EB) estimation in the normal means problem, when the standard deviations of the observations are not known precisely, but estimated with error -- which is almost always the case in practical applications. In classical statistics accounting for estimated standard errors usually involves replacing a normal distribution with a $t$ distribution. This suggests approaching this problem by replacing the normal assumption with a $t$ assumption, leading to an "EB $t$-means problem". Here we show that an approach along these lines can indeed work, but only with some care. Indeed, a naive application of this idea is flawed, and can perform poorly. We suggest how this flaw can be remedied by a two-stage procedure, which first performs EB shrinkage estimation of the standard errors and then solves an EB $t$-means problem. We give numerical results illustrating the effectiveness of this remedy.

研究の動機と目的

• 標準誤差が既知ではなく推定されている状況で、経験ベイズ正規母平均推定に単純にt分布を適用する際の欠陥を是正すること。
• 経験ベイズフレームワークにおいて、推定された標準誤差の不確実性を適切に取り入れる整合的な手法を開発すること。
• 推定された標準誤差を伴う高次元正規母平均問題における推定精度と信頼区間被覆率を向上させること。
• 2段階の手法（標準誤差の縮小 → EB t-平均解析）が、単純な手法や便宜的な手法に比べてより信頼性の高い推論をもたらすことを示すこと。

提案手法

• Smyth (2004) と同様の階層モデルを用いて、推定された標準誤差に対して経験ベイズによる縮小を適用し、調整済み標準誤差と自由度を取得する。
• 得られた調整済み標準誤差と自由度を用いて、観測された効果のt分布的サンプリングモデルを定義する：$\hat{\beta}_j \mid \beta_j, \hat{s}_j \sim t_{\nu_j}(\beta_j, \hat{s}_j)$。
• EB t-平均モデル（EBTM）に基づく経験ベイズ推論を実施し、混合分布$g_\beta$を推定し、$p(\beta_j \mid \hat{\beta}_j, \hat{s}_j, \hat{g}_\beta)$の事後分布を計算する。
• 事後分布を用いて、点推定（例：事後平均）と信頼区間を計算し、適切な不確実性の定量化を確保する。
• シミュレーションスタディを通じて、2段階手法と単純なEB t-平均および便宜的な手法（例：p値から標準誤差への変換）を比較する。
• 相対二乗平均誤差（RRMSE）と95%信頼区間の実効被覆率を用いて性能を評価し、信号強度およびサンプルサイズごとに分けて分析する。

実験結果

リサーチクエスチョン

• RQ1 標準誤差が推定されている状況で、経験ベイズ正規母平均推定に単純に正規分布の代わりにt分布を適用することは、有効な推論をもたらすか？
• RQ2 2段階の経験ベイズ手順（まず標準誤差を縮小し、その後EB t-平均問題を解く）は、単純な手法や便宜的な手法に比べて推定精度と被覆率を向上させるか？
• RQ3 提案手法の性能は、サンプルサイズや効果分布の形状（例：スパイク型、二峰性、平坦型）にどのように依存するか？
• RQ4 標準誤差が不確実な状況でも、特に顕著な発見に対して、信頼区間の被覆率が良好に保たれるか？
• RQ5 高次元設定で標準誤差が推定されている状況において、本手法は推定精度を向上させながらも、誤り発見率（FDR）を信頼性高く制御できるか？

主な発見

• 2段階手法（標準誤差のEB縮小 → EB t-平均推論）は、高ノイズ（低信号）領域において、縮小されていない推定値に比べてRMSEが最大90%まで改善される。
• 単純にEB t-平均モデルを適用すると、推論が不適切になる。なぜなら、$ (\hat{\beta}_j - \beta_j)/\hat{s}_j \mid \hat{s}_j $ はt分布に従わないため、モデルが不成立となる。
• N ≥ 4 の場合、95%下位信頼区間の被覆率は一般的に良好であるが、N=2 の場合、特にビッグノーマルケースでは被覆率が著しく低下（例：23%に低下）し、尾部の過剰縮小が生じる。
• 便宜的な手法（VL + pval2se + ash）はFDR制御にはある程度適しているが、整合的な2段階EBTM手法に比べて推定精度が低い。
• 選択後信頼区間の被覆率も、2段階手法では良好に保たれるため、顕著な効果を特定した後でも、信頼性が保たれる。
• 低信号領域では保守的行動を示すが、過剰縮小を避けるためには、一部の尾部の過剰縮小は避けられない。