[論文レビュー] Bayesian Entropy Estimation for Countable Discrete Distributions

Evan Archer, Il Memming Park+1 more|arXiv (Cornell University)|Feb 2, 2013

Bayesian Methods and Mixture Models参考文献 30被引用数 6

ひとこと要約

本論文は、連続的な混合測度を用いたピルマン＝ヨア混合（PYM）事前分布を用いて、可算無限離散分布のベイズ的エントロピー推定器を提案する。この事前分布はエントロピー上にほぼ非情報的で平坦な事前分布を誘導する。ピルマン＝ヨア過程を連続的な混合測度で混合することで、不足したサンプル領域において一貫性のあるエントロピー推定が達成され、シミュレーションおよび実際の神経データにおいて、固定事前分布手法を上回る性能を示す。また、エントロピー推定の事後モーメントについて解析的に扱える表現が得られる。

ABSTRACT

We consider the problem of estimating Shannon's entropy $H$ from discrete data, in cases where the number of possible symbols is unknown or even countably infinite. The Pitman-Yor process, a generalization of Dirichlet process, provides a tractable prior distribution over the space of countably infinite discrete distributions, and has found major applications in Bayesian non-parametric statistics and machine learning. Here we show that it also provides a natural family of priors for Bayesian entropy estimation, due to the fact that moments of the induced posterior distribution over $H$ can be computed analytically. We derive formulas for the posterior mean (Bayes' least squares estimate) and variance under Dirichlet and Pitman-Yor process priors. Moreover, we show that a fixed Dirichlet or Pitman-Yor process prior implies a narrow prior distribution over $H$, meaning the prior strongly determines the entropy estimate in the under-sampled regime. We derive a family of continuous mixing measures such that the resulting mixture of Pitman-Yor processes produces an approximately flat prior over $H$. We show that the resulting Pitman-Yor Mixture (PYM) entropy estimator is consistent for a large class of distributions. We explore the theoretical properties of the resulting estimator, and show that it performs well both in simulation and in application to real data.

研究の動機と目的

• スパースで不足したサンプルからシャノンエントロピーを推定する課題に取り組む。これは、可能な記号の数が未知または可算無限である場合に該当する。
• 低サンプル領域における固定ディリクレまたはピルマン＝ヨア過程事前分布が引き起こすバイアスおよび狭い信用区間を克服する。
• エントロピー上にほぼ平坦で非情報的となるような離散分布の事前分布を構築し、頑健なベイズ推論を可能にする。
• 提案された事前分布下でのエントロピー推定の事後平均および分散について、解析的に取り扱える表現を導出する。
• 提案されたピルマン＝ヨア混合（PYM）推定器が、シミュレーションおよび実際の神経データにおいて一貫性があり、優れた性能を示すことを実証する。

提案手法

• 無限次元の離散分布に対する事前分布としてピルマン＝ヨア過程（PYP）を用い、ディリクレ過程を一般化してパワー則的尾部挙動を許容する。
• ディリクレおよびPYP事前分布下でのエントロピーの事後平均および分散について、解析的表現を導出し、効率的なベイズ推定を可能にする。
• PYPハイパーパrameterの連続的混合測度の族を導入し、エントロピー上に平坦な事前分布を誘導することで、ピルマン＝ヨア混合（PYM）事前分布を構築する。
• ベータ関数およびガンマ関数の漸近的展開を用いて、サンプルサイズの増大に伴う事後モーメントの極限的挙動を分析する。
• 割引パラメータ $d$ および集中パラメータ $\alpha$ に関して、周辺尤度（証拠）の単峰性定理を適用し、安定な推論を保証する。
• シミュレーションおよび網膜記録からの実際の神経データを用いて推定器を検証し、標準的推定器と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 未知または無限のサポートを持つ離散分布に対して、エントロピー上に非情報的で平坦な事前分布を有するベイズ的アプローチを構築可能か？
• RQ2 低サンプル領域における固定PYPまたはディリクレ過程事前分布は、エントロピー推定にどのように影響を与え、どのようなバイアスを引き起こすか？
• RQ3 エントロピー上にほぼ平坦な周辺事前分布が得られるようなPYPの混合を構築可能か？
• RQ4 提案されたPYM事前分布下でのエントロピー推定の事後平均および分散の解析的性質は何か？
• RQ5 得られたPYMエントロピー推定器は、広範なクラスの真の分布に対して一貫性を示すか？

主な発見

• ディリクレおよびピルマン＝ヨア過程事前分布下でのエントロピーの事後平均および分散は解析的に計算可能であり、効率的なベイズ推定が可能である。
• 固定PYPまたはディリクレ事前分布は、エントロピー上に狭い事前分布を誘導し、低サンプル領域では強いバイアスと過信された信用区間を引き起こす。
• 連続的混合測度を用いて構築された提案されたピルマン＝ヨア混合（PYM）事前分布は、エントロピー上にほぼ平坦な事前分布をもたらし、事前分布由来のバイアスを低減する。
• PYM推定器は、真のサポートが有限であるが未知である場合を含め、広範な離散分布のクラスに対して一貫性を示す。
• シミュレーションおよび実際の神経データにおいて、PYM推定器は、バイアスおよび平均二乗誤差の観点で、標準的頻度的およびベイズ的推定器を上回る性能を示す。
• 周辺尤度（証拠）は、割引パラメータ $d$ および集中パラメータ $\alpha$ の両方に関して単峰的であり、最適化および推論の安定性を保証する。