[論文レビュー] Efficient Empirical Bayes prediction under check loss using Asymptotic Risk Estimates

Gourab Mukherjee, Lawrence D. Brown+1 more|arXiv (Cornell University)|Oct 30, 2015

Statistical Methods and Inference参考文献 42被引用数 3

ひとこと要約

本稿は、チェック損失の非対称性を考慮した高次元ガウス予測における、新しい経験的ベイズ手法を開発する。ヒルベルト多項式展開を用いて漸近的に有効なリスク推定値を導出し、そのリスク推定値を最小化することで、平均ではなく予測分布の事前指定された分位数を標的にする、漸近的に最適な縮小予測子を構築する。シミュレーションでは、従来のEB手法を上回る性能を示す。

ABSTRACT

We develop a novel Empirical Bayes methodology for prediction under check loss in high-dimensional Gaussian models. The check loss is a piecewise linear loss function having differential weights for measuring the amount of underestimation or overestimation. Prediction under it differs in fundamental aspects from estimation or prediction under weighted-quadratic losses. Because of the nature of this loss, our inferential target is a pre-chosen quantile of the predictive distribution rather than the mean of the predictive distribution. We develop a new method for constructing uniformly efficient asymptotic risk estimates which are then minimized to produce effective linear shrinkage predictive rules. In calculating the magnitude and direction of shrinkage, our proposed predictive rules incorporate the asymmetric nature of the loss function and are shown to be asymptotically optimal. Using numerical experiments we compare the performance of our method with traditional Empirical Bayes procedures and obtain encouraging results.

研究の動機と目的

• 非対称なチェック損失の下で、高次元ガウスモデルにおける予測を扱う。この損失は、過小予測と過大予測に対して異なるペナルティを課す。
• チェック損失の区分的線形性に適合した、一様に効率的な漸近的リスク推定値（AREs）を構築するための新しいフレームワークを開発する。
• これらのAREsを最小化することで、損失の非対称性を反映した、漸近的に最適な縮小予測子を生成する。
• 特に分位数ベースの予測を目的とする場合に、二乗損失設定を超えた経験的ベイズ手法を拡張する。
• 数値実験を通じて、本手法の性能を検証し、古典的EB手順を上回ることを示す。

提案手法

• θi ∼ N(η, τ) である未知のハイパーパrameter (η, τ) を持つ階層的ガウスモデルを用い、チェック損失の下でのベイズ予測子を導出する。
• 関連する確率的関数のヒルベルト多項式展開を用いて、従来の二乗的不偏性とは異なる意味でのリスク関数の推定が可能な、漸近的に不偏なリスク推定値を構築する。
• 提案された漸近的に有効なリスク推定値（ARE）を最小化することで、ハイパーパrameter τ のデータ駆動型推定器を導入し、損失の非対称性に適応した方向と大きさを持つ縮小ルールを実現する。
• 事前平均と観測データのバランスを取るための縮小係数 αi(τ) = τ / (τ + νp,i) を導出し、推定器は損失重みの臨界比 bi/(bi + hi) に合わせて調整される。
• リスク推定における尾部挙動を制御するため、切断およびしきい値処理技術（λn(i), Kn(i)）を適用し、一様可積分性と収束性を保証する。
• τ に関するグリッドベースの最適化を用いて最終推定器を計算し、n → ∞ の下で漸近的最適性の理論的保証を得る。

実験結果

リサーチクエスチョン

• RQ1 従来の不偏リスク推定が失敗する非対称なチェック損失の下でも、漸近的に有効なリスク推定値を構築できるか？
• RQ2 この損失の下で、経験的ベイズ予測を平均ではなく予測分布の分位数を標的にするようにどのように適合できるか？
• RQ3 チェック損失下での漸近的に最適な縮小ルールの構造は何か？ また、二乗損失下のそれとはどのように異なるか？
• RQ4 ヒルベルト多項式展開を用いて、非対称損失を伴う高次元モデルのリスク推定に効果的に応用できるか？
• RQ5 提案手法の有限サンプル性能は、古典的経験的ベイズ予測子と比べてどのように異なるか？

主な発見

• 提案手法は、ヒルベルト多項式展開を用いて、一様に効率的な漸近的リスク推定値（AREs）を構築し、非対称なチェック損失下でのリスク最小化を可能にする。
• 得られた縮小予測子は漸近的に最適であり、損失の非対称性が臨界比 bi/(bi + hi) を通じて、縮小の方向と大きさに明示的に反映されている。
• 数値実験では、中程度の次元でも従来の経験的ベイズ手順を上回る性能を示し、ロバストネスと効率性を確認した。
• 理論的分析により、リスク推定値が弱いモーメント条件の下で漸近的に不偏かつ一様可積分であることが確認された。
• ハイパーパrameter τ の推定において、オракルに近い性能を達成し、高次元漸近的設定下での収束速度が確立された。
• フレームワークは、原点中心およびグランド平均中心の事前分布の両方へ拡張可能であり、それぞれに対応する別個のARE推定器（ARE⁰, AREᴳ, AREᴰ）が導入された。