[論文レビュー] Entropy Estimates from Insufficient Samplings

Peter Grassberger|arXiv (Cornell University)|Jul 29, 2003

Algorithms and Data Compression参考文献 4被引用数 75

ひとこと要約

この論文は、スパースデータからのシャノンエントロピーの新しい解析的推定器を提案する。Grassbergerの1988年の手法の修正版を用い、ディガマ関数と数値最適化を用いてバイアスを制御する。標準的な推定器と比較して、特に低サンプリング領域（$ N/M \ll 1 $）において顕著に低い系統的バイアスを達成する一方で、統計誤差は管理可能であり、ベイズ的手法で用いられる事前分布の必要がない。

ABSTRACT

We present a detailed derivation of some estimators of Shannon entropy for discrete distributions. They hold for finite samples of N points distributed into M "boxes", with N and M -> oo, but N/M < oo. In the high sampling regime (<< 1 points in each box) they have exponentially small biases. In the low sampling regime the errors increase but are still much smaller than for most other estimators. One advantage is that our main estimators are given analytically, with explicitly known analytical formulas for the biases.

研究の動機と目的

• Grassbergerの1988年エントロピー推定器の修正と体系化。当初のバイアス導出における誤りと、厳密な根拠の欠如を是正する。
• 特に $ N/M \ll 1 $ のような低サンプリング領域において、最小限の系統的バイアスを有する新しい解析的エントロピー推定器の開発。
• バイアス、統計誤差、頑健性の観点から、解析的および数値最適化された推定器の性能を比較する。
• ディガマ関数 $ \psi(n) $ 及びその補正項に基づく推定器が、バイアスと分散の間で優れたトレードオフを実現できることを示す。
• 特に事前情報が入手困難な状況において有用な、事前分布を必要としない実用的で、より頑健なベイズ推定器の代替手段を提供する。

提案手法

• 希少事象のポアソン近似を仮定し、$ z_i = p_i N \to 0 $ とし、$ N, M \to \infty $ の下でバイアス補正されたエントロピー推定器を導出。
• 推定器 $ \hat{H}_\phi = \ln N - \frac{M}{N} \overline{n \phi(n)} $ を導入。ここで $ \phi(n) $ は観測度数 $ n_i $ の関数であり、$ \overline{\cdot} $ はボックスごとの平均を表す。
• ポアソン統計下での $ n \phi(n) $ の期待値から導かれるディガマ関数 $ \psi(n) $ を $ \phi(n) $ の主要な構成要素として用いる。
• $ z $-モーメントを用いた体系的展開を行い、負の $ q $ に対して解析接続を適用してバイアス補正項を導出。
• シミュレーテッド・アニーリングを用いて $ \phi(n) $ を数値最適化し、$ z \in (0, \infty) $ の全範囲でバイアスの $ L^2 $ ノルムを最小化する。
• 整数 $ q $ に対してリーマンエントロピーへの一般化を試みるが、$ q \neq 1 $ への拡張には制限があると指摘。

実験結果

リサーチクエスチョン

• RQ1 Grassbergerの1988年エントロピー推定器の体系的導出が可能か。特にバイアス推定における当初の誤りを是正できるか。
• RQ2 スパースサンプリング条件下で、エントロピー推定のバイアスを最小化する最適な関数 $ \phi(n) $ は何か。
• RQ3 新しい解析的推定器 $ \hat{H}_\psi $ は、ナイーブ推定器やベイズ的手法と比較して、バイアスと統計誤差の両面でどのように性能を発揮するか。
• RQ4 数値最適化された $ \phi(n) $ 関数は、解析的形よりも絶対バイアスを低く抑えることができるか。統計誤差と単調性の観点でのトレードオフは何か。
• RQ5 新しい推定器は、シャノンエントロピーに限らず、リーマンエントロピーへの一般化がどの程度可能か。

主な発見

• $ \phi(n) = \psi(n) $ を用いた推定器 $ \hat{H}_\psi $ は、最大絶対バイアスが約 0.1407 に抑えられ、他の多くの代替手法よりも顕著に低い。
• $ N/M < z^* \approx 0.217 $ の領域では、最悪バイアスが $ -\Delta H_G \leq E_1(2N/M) $ で有界であり、$ N/M \to 0 $ の極限で対数的に発散する。
• シミュレーテッド・アニーリングによる数値最適化により得られた $ \phi(n) $ 関数は、$ \psi(n) $ よりもさらに低いバイアスを達成するが、非単調性と統計誤差の増加を伴う。
• $ N \geq 100 $ の場合、Nemenman（2003）のテストケース6例中、2例を除きすべてで $ \hat{H}_\psi $ のバイアスは2標準誤差未満に抑えられ、無視できるほど小さい。
• 統計誤差の観点ではベイズ推定器と同等の性能を示し、$ N \geq 300 $ の領域ではバイアス面でそれを上回る。特にサンプリング不足の状況で顕著な優位性を示す。
• 事前分布の必要がないため、実用的・頑健性に優れ、ベイズ的手法の代替としての適用が容易である。