[論文レビュー] A Bayesian Nonparametric Estimation to Entropy

Luai Al‐Labadi, Viskakh Patel+2 more|arXiv (Cornell University)|Mar 2, 2019

Bayesian Methods and Mixture Models参考文献 32被引用数 5

ひとこと要約

本稿では、Ebrahimi, Pflughoeft, and Soofi (1994) の頻度的推定量を拡張し、ディリクレ過程事前分布を用いた新しいベイズ非パラメトリック推定量を提示する。この手法は、さまざまな分布において、特に濃度パラメータ $ a = 0.05 $ の場合に、平均二乗誤差が低く、ベイズモデルチェックの応用に適している。

ABSTRACT

A Bayesian nonparametric estimator to entropy is proposed. The derivation of the new estimator relies on using the Dirichlet process and adapting the well-known frequentist estimators of Vasicek (1976) and Ebrahimi, Pflughoeft and Soofi (1994). Several theoretical properties, such as consistency, of the proposed estimator are obtained. The quality of the proposed estimator has been investigated through several examples, in which it exhibits excellent performance.

研究の動機と目的

• 微分エントロピーのベイズ非パラメトリック推定量を構築し、一貫性と計算可能性を確保すること。
• Ebrahimi, Pflughoeft, and Soofi (1994) の頻度的推定量を、ディリクレ過程を用いたベイズ枠組みに拡張すること。
• 推定量の一致性、平均二乗誤差、ハイパーパramータおよびベース測度の選択に対するロバスト性の観点から、その性能を評価すること。
• Al-Labadi and Evans (2018) が示唆したように、実用的なベイズモデルチェックツールを提供すること。

提案手法

• 推定量は、Ebrahimi et al. (1994) の頻度的エントロピー推定量をディリクレ過程事前分布の枠組みに埋め込むことで導出される。
• ディリクレ過程事前分布は、未知の累積分布関数をモデル化するために用いられ、ベース測度 $ G $ と濃度パラメータ $ a $ を有する。
• エントロピーは、ディリクレ過程の非パラメトリックな柔軟性を活かしてデータに適応する後部期待値により推定される。
• 順序統計と窓による差分を用いた局所密度推定が用いられ、境界効果を補正するための補正係数 $ c_i $ が調整される。
• 後部分布からのサンプリングを可能にする計算アルゴリズムが開発され、エントロピー推定量が計算される。
• 濃度パラメータ $ a $ に対する感度分析が実施され、$ a = 0.05 $ が最適な性能を示した。

実験結果

リサーチクエスチョン

• RQ1 提案されたベイズ非パラメトリックエントロピー推定量は、Vasicekの推定量およびEbrahimiらの頻度的推定量と比較して、平均二乗誤差においてどのように異なるか？
• RQ2 濃度パラメータ $ a $ およびベース測度 $ G $ の選択が、推定量の性能と安定性に与える影響は何か？
• RQ3 このベイズ推定量は、多様な分布において一貫性を保ち、推定誤差を低く抑えることができるか？
• RQ4 先行研究が示唆するように、この推定量はベイズモデルチェックに効果的に応用できるか？

主な発見

• 濃度パラメータ $ a = 0.05 $ の場合、すべてのテストされた分布（一様、指数、正規、ワイブル）において、あらゆる標本サイズで最小の平均二乗誤差を達成した。
• 一様分布では、$ n = 50 $ 時に提案手法のMSEは0.013であったのに対し、Ebrahimiらの推定量は0.048であった。
• 平均1の指数分布では、$ n = 50 $ 時に提案手法のMSEは0.022であった。これはVasicekの推定量（MSE 0.039）およびEbrahimiらの推定量（MSE 0.022）を上回った。
• ベース測度 $ G $ の選択は、$ a = 0.05 $ 時には顕著な影響を及ぼさなかったが、$ a = 5 $ 時には影響を及ぼした。これは、高濃度パラメータでは感度が高くなることを示している。
• 標本サイズが小さい場合でも、推定量は安定的かつ正確であり、$ n $ が増加するにつれてMSEは単調に減少した。
• 推定量は一貫性を示し、$ a/n \to 0 $ のとき最良の性能を発揮する。これは、最適な性能を得るためには $ a $ を0.05のように小さく設定することが推奨されることを支持する。