[論文レビュー] Estimating Functions of Probability Distributions from a Finite Set of Samples, Part 1: Bayes Estimators and the Shannon Entropy

David H. Wolpert, David R. Wolf|ArXiv.org|Mar 8, 1994

Neural Networks and Applications参考文献 3被引用数 13

ひとこと要約

本稿では、有限標本データを用いて離散確率分布の関数をベイズ推定する手法を紹介し、シャノンエントロピーおよび相互情報量や共分散といった関連する指標に焦点を当てる。小標本設定においてバイアスを低減する解析的に取り扱いやすい推定器を導出し、限られたデータからのエントロピーおよび依存度測度の推定において頻度主義的手法よりも精度が向上することを示す。

ABSTRACT

We present estimators for entropy and other functions of a discrete probability distribution when the data is a finite sample drawn from that probability distribution. In particular, for the case when the probability distribution is a joint distribution, we present finite sample estimators for the mutual information, covariance, and chi-squared functions of that probability distribution.

研究の動機と目的

• 独立同分布の有限個の標本しか入手できない状況において、特にエントロピーと相互情報量を推定する課題に対処すること。
• 標本サイズが小さい場合に顕著になる頻度主義的推定器のバイアスを克服すること。
• 事前知識を組み込み、潜在的な分布の不確実性を周辺化する解析的に取り扱いやすいベイズ推定器を開発すること。
• 関連確率分布への拡張を可能にし、有限標本から相互情報量、共分散、カイ二乗統計量を推定すること。
• データが不足する状況下での情報理論的量の堅牢な統計的推論の基盤を提供すること。物理学、機械学習、複雑系分野において関連性がある。

提案手法

• 多項分布の確率にディリクレ事前分布を設定することで、離散確率分布の関数のベイズ推定を定式化する。
• エントロピーおよび他の関数的量の事後期待値について閉形式の式を導出し、解析的計算を可能にする。
• 推定された分布の不確実性を反映する推定器を事後予測分布を用いて計算する。
• 関連確率分布への応用により、事後分布を周辺化することで相互情報量、共分散、カイ二乗統計量を推定する。
• ディリクレ＝多項分布モデルの共共役事前分布構造を活用し、計算の取り扱いやすさと数値的安定性を確保する。
• 理論的分析と頻度主義的推定器との比較を通じて推定器を検証し、特に標本数が少ない場合にバイアスが低減することを示す。

実験結果

リサーチクエスチョン

• RQ1 有限個の標本からシャノンエントロピーを推定する際、ベイズ的手法を用いることでバイアスをどのように低減できるか？
• RQ2 独立同分布の標本が限られた数しか入手できない状況において、相互情報量の最適なベイズ推定器は何か？
• RQ3 小標本サイズにおけるエントロピーおよび依存度測度のベイズ推定器と頻度主義的推定器の間で、バイアスおよび平均二乗誤差の観点からどのように比較できるか？
• RQ4 ディリクレ事前分布の下で、情報理論的関数的量の事後期待値について解析的表現を導出できるか？
• RQ5 関連確率分布の関数を推定する際、非情報的ディリクレ事前分布を使用する場合の意味は何か？

主な発見

• 本稿では、小標本設定において最尤推定器よりも顕著にバイアスを低減する解析的に取り扱いやすいベイズ推定器を、シャノンエントロピーについて導出した。
• エントロピーのベイズ推定器は、ディリクレ事前分布の下での事後平均として示され、事前知識と不確実性を体系的に組み込む原理的かつ整合的な方法を提供する。
• 関連確率分布に対しては、事後期待値を用いることで、有限標本から相互情報量、共分散、カイ二乗統計量を一貫して推定可能である。
• 特に、可能な出力の数に対して標本数が少ない場合に、平均二乗誤差の観点で頻度主義的推定器よりも優れた性能を示す。
• このフレームワークは、離散分布の他の関数的量へも一般化可能であり、情報理論的推定に統一的なベイズ的アプローチを提供する。
• 導出された推定器は、ディリクレ＝多項分布の共役性のおかげで、モンテカルロサンプルを必要とせず、計算が効率的である。