[論文レビュー] Estimating Functions of Distributions from A Finite Set of Samples, Part 2: Bayes Estimators for Mutual Information, Chi-Squared, Covariance and other Statistics

David R. Wolf, David H. Wolpert|ArXiv.org|Mar 8, 1994

Statistical Mechanics and Entropy参考文献 12被引用数 6

ひとこと要約

本稿では、有限標本データを用いて離散確率分布の関数である相互情報量、共分散、カイ二乗統計量などのベイズ推定量を提示する。ディリクレ事前分布の下で解析的に取り扱える後部期待値を導出し、特にデータが少ない状況において頻度主義的手法よりも優れた有限標本推定を実現する。

ABSTRACT

We present estimators for entropy and other functions of a discrete probability distribution when the data is a finite sample drawn from that probability distribution. In particular, for the case when the probability distribution is a joint distribution, we present finite sample estimators for the mutual information, covariance, and chi-squared functions of that probability distribution.

研究の動機と目的

• 有限個の標本しか入手できない状況において、相互情報量や共分散などの離散確率分布の関数を推定する課題に対処すること。
• 低標本領域における頻度主義的推定量のバイアスと高い分散を克服するため、ベイズ枠組みを導入すること。
• 共役ディリクレ事前分布の下で、主要な統計関数の解析的に取り扱える後部期待値を構築すること。
• 限られた経験的データから結合分布の複雑な関数を推定するための整合的な手法を提供すること。
• データが乏しくて高次元である状況でも信頼性のある推論を可能にすること。

提案手法

• 多項分布に共役ディリクレ事前分布を用いることで、後部期待値の解析的計算を可能にする。
• 相互情報量、カイ二乗統計量、共分散などの関数の後部平均について、閉形式の式を導出する。
• ディリクレ＝多項分布モデルを用いて、潜在分布の非線形関数の期待値を推定する。
• ディリクレ分布の性質を活用して推定量を正則化し、小標本での過学習を低減する。
• 選択した事前分布の下で二乗誤差を最小化するベイズ推定量として後部期待値を用いる。
• 理論的分析と頻度主義的推定量との比較を通じて、推定量の性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ推定は、有限標本からの相互情報量推定の精度をどのように向上させ得るか？
• RQ2 ディリクレ＝多項分布モデルにおける共分散の後部期待値の解析的形は何か？
• RQ3 カイ二乗統計量や離散分布の他の関数に対して、閉形式のベイズ推定量を導出できるか？
• RQ4 有限標本条件下で、これらのベイズ推定量は頻度主義的推定量と比べてバイアスと分散の点でどのように異なるか？
• RQ5 事前分布のハイパーパrameterが、情報理論的量の推定結果に及ぼす影響は何か？

主な発見

• 本稿では、共役ディリクレ事前分布を用いて、相互情報量、共分散、カイ二乗統計量の解析的に取り扱えるベイズ推定量を導出する。
• 低標本領域において、最大尤度推定量よりも顕著に精度の高い相互情報量のベイズ推定量が示された。
• 共分散の推定量は、ディリクレ＝多項分布モデルにおける後部期待値として導出され、整合的な正則化を提供する。
• カイ二乗統計量は後部期待値を介して推定され、経験的推定量と比較して過学習が低減される。
• 特にカテゴリ数に対して標本数が少ない場合に、バイアスと平均二乗誤差が体系的に低減される。
• 本手法は、他の離散分布の関数に対しても一般化可能であり、統計的推定のための統一的ベイズ枠組みを提供する。