[論文レビュー] Unbiased Estimators for Entropy and Class Number

Stephen Montgomery-Smith, Thomas Schürmann|arXiv (Cornell University)|Oct 18, 2014

Face and Expression Recognition参考文献 4被引用数 7

ひとこと要約

本稿は、任意の長さの独立同一分布サンプリング設定において、シャノンエントロピーおよびクラス数の新しい不偏推定量を導入する。2つのエントロピー推定量（相互再発時間および調和数に基づく）と、2つの不偏クラス数推定量を提案し、幾何級数および調和級数の恒等式を用いた正確な確率的導出により、ゼロバイアを達成する。

ABSTRACT

We introduce unbiased estimators for the Shannon entropy and the class number, in the situation that we are able to take sequences of independent samples of arbitrary length.

研究の動機と目的

• 無限の母集団からクラスが既知の状態でサンプリングする際のシャノンエントロピーに対する不偏推定量の開発。
• 従来のエントロピー推定量が真のエントロピーを系atically低く推定するという知られているバイアスの解消。
• 生態学的および情報理論的応用において関連するクラス数 $ M $ の不偏推定量の導入。
• 高い分散を伴うが、平均化がなければ不変である理論的に妥当な推定量を提供。
• 実際のデータ収集に対応するため、複数の出発点およびサンプルの再順序付けに基づく推定量の提案。

提案手法

• 推定量 $\hat{H}_1 = \sum_{i=1}^M \frac{I_{N_i \geq 2}}{N_i - 1}$ を提案。ここで $N_i$ はクラス $C_i$ への最初の通過時間であり、幾何分布の性質を用いる。
• $\hat{H}_2 = h_{N-1}$ を導入。ここで $N$ は $w_1$ と $w_{k+1}$ が同じクラスに属する最小の $k \geq 1$ であり、恒等式 $\mathbb{E}[h_{N-1} \mid w_1 \in C_i] = -\log p_i$ を活用する。
• $n$ 個のこのような推定量を平均化して分散を低減： $\hat{H}_3 = \frac{1}{n} \sum_{j=1}^n h_{N^{(j)}-1}$。ここで $N^{(j)}$ は $w_j$ と $w_{k+j}$ から定義される。
• $\hat{M}_1 = N$ をクラス数 $M$ の不偏推定量として導入。同じ再発時間分布から得られる。
• 複数の出発点を用いた改良型クラス数推定量 $\hat{M}_2 = \frac{1}{n} \sum_{j=1}^n N^{(j)}$ を提案。
• サンプル順序が保持されない場合に使用可能な補正ベース推定量 $\hat{M}_4 = \hat{M}_3 + \frac{1}{n} \sum_{i \in A} \left( \frac{m+1}{s_i+1} - \frac{n+1}{r_i+1} \right)$ を導出。

実験結果

リサーチクエスチョン

• RQ1 任意長のi.i.d.サンプルが利用可能な状況で、シャノンエントロピーに対する不偏推定量を構築できるか？
• RQ2 正確な確率的モデリングにより、古典的エントロピー推定量に見られる知られているバイアスをどのように排除できるか？
• RQ3 再発時間に基づいて、母集団内の異なるクラス数 $M$ の不偏推定量を構築することは可能か？
• RQ4 分散の影響が不偏推定量の実用的有用性に与える影響は何か？ そして、どのようにしてこれを軽減できるか？
• RQ5 サンプル順序が追跡されない現実世界のデータ収集に適応可能な不偏推定量は作成可能か？

主な発見

• 推定量 $\hat{H}_1 = \sum_{i=1}^M \frac{I_{N_i \geq 2}}{N_i - 1}$ はシャノンエントロピーに対して厳密に不偏であり、$\mathbb{E}[\hat{H}_1] = -\sum_{i=1}^M p_i \log p_i$ を満たす。
• 推定量 $\hat{H}_2 = h_{N-1}$ はエントロピーに対して不偏であり、恒等式 $\mathbb{E}[h_{N-1} \mid w_1 \in C_i] = -\log p_i$ から導出され、全期待値として $\mathbb{E}[\hat{H}_2] = H$ が得られる。
• $n$ 個のこのような推定量を $\hat{H}_3 = \frac{1}{n} \sum_{j=1}^n h_{N^{(j)}-1}$ で平均化することで分散が低減されるが、さらなる解析がなければ信頼区間は広いままとなる。
• $\hat{M}_1 = N$ はクラス数 $M$ の不偏推定量であり、$N$ は $w_1$ の自身のクラスへの最初の帰還時間である。
• $\hat{M}_2 = \frac{1}{n} \sum_{j=1}^n N^{(j)}$ は複数の出発点を用いて $M$ の一貫性があり不偏な推定を提供する。
• 補正ベース推定量 $\hat{M}_4 = \hat{M}_3 + \frac{1}{n} \sum_{i \in A} \left( \frac{m+1}{s_i+1} - \frac{n+1}{r_i+1} \right)$ により、サンプル順序が保持されない場合でも不偏推定が可能となる。