[論文レビュー] Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples

Yasuyuki Hamura|arXiv (Cornell University)|Oct 6, 2020

Advanced Statistical Methods and Models参考文献 37被引用数 2

ひとこと要約

本稿は、非平衡なネガティブ・Multinomialモデルにおけるベイズ的縮小推定器および予測密度を開発し、標準化された二乗誤差損失の下でUMVU推定器を上回る新しい経験的ベイズ推定器を導入する。また、Kullback-Leibler損失の観点からJeffreysの事前分布を上回る階層的縮小事前分布を提案する。主な貢献は、非平衡な設定下で推定および予測の両面において有限標本での支配的性を示したことである。これは、ポissonおよび多項分布モデルに関する先行研究を、一般化された（おそらく不等しい）標本サイズおよび損失重みを有するネガティブ・Multinomial分布への拡張である。

ABSTRACT

In this paper, we treat estimation and prediction problems where negative multinomial variables are observed and in particular consider unbalanced settings. First, the problem of estimating multiple negative multinomial parameter vectors under the standardized squared error loss is treated and a new empirical Bayes estimator which dominates the UMVU estimator under suitable conditions is derived. Second, we consider estimation of the joint predictive density of several multinomial tables under the Kullback-Leibler divergence and obtain a sufficient condition under which the Bayesian predictive density with respect to a hierarchical shrinkage prior dominates the Bayesian predictive density with respect to the Jeffreys prior. Third, our proposed Bayesian estimator and predictive density give risk improvements in simulations. Finally, the problem of estimating the joint predictive density of negative multinomial variables is discussed.

研究の動機と目的

• 標本サイズ、ベクトル長、損失関数重みがパラメータごとに異なる非平衡な状況下におけるネガティブ・Multinomial標本の推定および予測問題に対処すること。
• ポissonおよび平衡モデルに関する縮小推定および予測密度の支配的性に関する意思決定理論的結果を、より一般的な非平衡なネガティブ・Multinomialケースへ拡張すること。
• 標本サイズおよび重みが非平衡であっても、標準化された二乗誤差損失の下でUMVU推定器を上回る新しい経験的ベイズ推定器を構築すること。
• 階層的縮小事前分布を用いたベイズ的予測密度が、ジョイント予測密度推定におけるKullback-Leiblerリスクの観点から、Jeffreysの事前分布を上回る条件を導出すること。
• 複数のネガティブ・Multinomial観測値に対するベイズ的予測密度の有限標本特性を調査し、先行の漸近的結果を一般化すること。

提案手法

• 階層的縮小事前分布の下で最尤法を用いて新しい経験的ベイズ推定器を導出し、非平衡な設定下で標準化された二乗誤差損失の下でUMVU推定器を支配することを達成する。
• 縮小推定器の支配的条件を、標本サイズ、ベクトル長、損失重みの非平衡性を含む非平衡ケースへ一般化する。
• ガンマ分布のスケールパラメータの混合分布を用いた階層的事前分布構造を採用し、縮小を誘導することで、リスク性能の向上を可能にする。
• 予測密度推定の損失関数としてKullback-Leibler損失を用い、モーメント生成関数および正規化定数G(τ, Z(τ))を含む積分恒等式を用いて支配的条件を導出する。
• Kullback-Leibler損失を多項分布混合分布上の期待値の観点から表現し、測度変換技術を用いて事後予測分布を比較する。
• リスク差と事後モーメント間のKullback-Leibler損失との間の関係を確立し、解析的支配証明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準化された二乗誤差損失の下で、非平衡なネガティブ・Multinomial推定において、UMVU推定器を上回るベイズ的縮小推定器を構築可能か？
• RQ2 ジョイント予測密度推定におけるKullback-Leiblerリスクの観点から、階層的縮小事前分布を用いたベイズ的予測密度が、Jeffreysの事前分布を上回る条件は何か？
• RQ3 標本サイズおよび損失重みが非平衡である場合、縮小によるリスク改善はどのように有限標本で現れるか？
• RQ4 ポissonモデルにおける支配的性の結果を、特に重複する多項分布テーブルを含む状況において、ネガティブ・Multinomial分布へ一般化可能か？
• RQ5 混合分布およびスケールパラメータは、非平衡モデルにおける推定および予測の両面でリスク低減を達成するために果たす役割は何か？

主な発見

• 階層的縮小事前分布の下で最尤法により導出された提案された経験的ベイズ推定器は、非平衡な設定下で標準化された二乗誤差損失の下でUMVU推定器を支配する。一般化された縮小形式を想定した支配的条件も確立された。
• ジョイント予測密度推定におけるKullback-Leiblerリスクの観点から、階層的縮小事前分布を用いたベイズ的予測密度が、Jeffreysの事前分布を上回る十分条件が導出された。
• リスク改善は、事後予測モーメント間のKullback-Leibler損失を通じて解析的に定量化され、階層的事前分布が確率的に小さいリスクをもたらすことが示された。
• シミュレーション研究により、提案された推定器および予測密度が、特に非平衡な構成下でベースライン手法と比較して顕著なリスク低減を達成することが確認された。
• 支配的性の結果は有限標本で成立し、先行の漸近的結果とは対照的である。意思決定理論フレームワークが、重複または依存するテーブルを有するネガティブ・Multinomialモデルへ一般化された。
• 本稿は、推定と予測の支配的性の間の正式な関係を確立し、非平衡な条件下で同様の縮小メカニズムが両パラダイムの性能向上に寄与することを示した。