[論文レビュー] Minimax Estimation of KL Divergence between Discrete Distributions.

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|May 30, 2016

Statistical Methods and Inference参考文献 16被引用数 9

ひとこと要約

本稿では、大規模なアルファベット設定における2つの離散分布間のKLダイバージェンスに対するミニマックスレート最適推定量を提案する。高度な近似手法を活用することで、n ln n個のサンプルを用いたMLEと同等の性能を達成する。この推定量は適応的であり、サポートサイズや尤度比の境界に関する事前知識を必要とせず、有効サンプルサイズの拡大が従来の知見よりも広く成立することを示している。

ABSTRACT

We consider the problem of estimating the KL divergence between two discrete probability measures $P$ and $Q$ from empirical data in a non-asymptotic and possibly large alphabet setting. We construct minimax rate-optimal estimators for $D(P\|Q)$ when the likelihood ratio is upper bounded by a constant which may depend on the support size, and show that the performance of the optimal estimator with $n$ samples is essentially that of the Maximum Likelihood Estimator (MLE) with $n\ln n$ samples. Our estimator is adaptive in the sense that it does not require the knowledge of the support size or the upper bound on the likelihood ratio. Our approach refines the \emph{Approximation} methodology recently developed for the construction of near minimax estimators of functionals of high-dimensional parameters, such as entropy, R\'enyi entropy, mutual information and $\ell_1$ distance in large alphabet settings, and shows that the \emph{effective sample size enlargement} phenomenon holds significantly more widely than previously established.

研究の動機と目的

• 大規模なアルファベット設定における離散分布間のKLダイバージェンスに対する非漸近的でミニマックスレート最適な推定量の開発。
• 有効サンプルサイズがln n倍に拡大される条件を確立し、n ln n個のサンプルを用いたMLEの性能に一致させること。
• サポートサイズや尤度比の上界に関する事前知識が不明な状況でも適応的に動作する推定量の構築。
• 近似手法の適用範囲をエントロピーと相互情報量にとどまらず、KLダイバージェンスへと拡張し、その広範な有用性を確認すること。

提案手法

• 本手法は、高次元の汎関数に特化した洗練された近似フレームワークを採用し、特にKLダイバージェンス推定に適応させたものである。
• 有界性制約下での経験的尤度比を活用したバイアス補正推定量を導入する。
• 非漸近的解析を用いてミニマックスリスクバウンズを導出し、クラス内すべての分布に対して最適な性能を保証する。
• サポートサイズや尤度比の上界に明示的な依存を避けることで、推定量の適応性を実現する。
• 推定誤差を制御するため、集中不等式と経験過程技術を用いて理論的保証を導出する。
• 先行の近似に基づく手法を一般化し、証明可能な最適性を保証する形でKLダイバージェンスへと拡張する。

実験結果

リサーチクエスチョン

• RQ1 非漸近的かつ大規模なアルファベット設定において、KLダイバージェンスに対するミニマックスレート最適な推定量を構築可能か？
• RQ2 エントロピーと相互情報量において観察された有効サンプルサイズの拡大現象が、KLダイバージェンスに対してもどの程度まで拡張可能か？
• RQ3 このような推定量を、未知のサポートサイズや尤度比の境界に対して適応的に可能か？
• RQ4 他の汎関数に用いられた近似手法が、KLダイバージェンスに対しても最適な結果をもたらすか？

主な発見

• 提案された推定量は、尤度比の有界性制約下でKLダイバージェンスに対してミニマックスリスク最適性を達成する。
• この推定量の性能は、n ln n個のサンプルを用いたMLEと漸近的に同等であり、n個のサンプルのみで達成可能である。
• この手法は適応的であり、サポートサイズや尤度比の上界に関する知識を一切必要としない。
• 有効サンプルサイズの拡大現象はKLダイバージェンスに対しても成立し、エントロピーと相互情報量にとどまらず、より広範な分野への適用可能性が確認された。