[論文レビュー] Estimation of KL Divergence: Optimal Minimax Rate

Yuheng Bu, Shaofeng Zou+2 more|arXiv (Cornell University)|Jul 9, 2016

Machine Learning and Algorithms参考文献 25被引用数 9

ひとこと要約

本稿は、アルファベットサイズ $k$ が増加する際の2つの離散分布間のKullback-Leibler (KL) 散乱の推定における最適ミニマックスレートを確立する。増強プラグイン推定量を提案し、一般化された Le Cam の手法と多項式近似を用いて、有界な密度比 $f(k)$ の下でミニマックス2次リスクが $\left(\frac{k}{m\log k} + \frac{kf(k)}{n\log k}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$ の定数倍の範囲に収まることが証明される。

ABSTRACT

The problem of estimating the Kullback-Leibler divergence $D(P\|Q)$ between two unknown distributions $P$ and $Q$ is studied, under the assumption that the alphabet size $k$ of the distributions can scale to infinity. The estimation is based on $m$ independent samples drawn from $P$ and $n$ independent samples drawn from $Q$. It is first shown that there does not exist any consistent estimator that guarantees asymptotically small worst-case quadratic risk over the set of all pairs of distributions. A restricted set that contains pairs of distributions, with density ratio bounded by a function $f(k)$ is further considered. {An augmented plug-in estimator is proposed, and its worst-case quadratic risk is shown to be within a constant factor of $(\frac{k}{m}+\frac{kf(k)}{n})^2+\frac{\log ^2 f(k)}{m}+\frac{f(k)}{n}$, if $m$ and $n$ exceed a constant factor of $k$ and $kf(k)$, respectively.} Moreover, the minimax quadratic risk is characterized to be within a constant factor of $(\frac{k}{m\log k}+\frac{kf(k)}{n\log k})^2+\frac{\log ^2 f(k)}{m}+\frac{f(k)}{n}$, if $m$ and $n$ exceed a constant factor of $k/\log(k)$ and $kf(k)/\log k$, respectively. The lower bound on the minimax quadratic risk is characterized by employing a generalized Le Cam's method. A minimax optimal estimator is then constructed by employing both the polynomial approximation and the plug-in approaches.

研究の動機と目的

• アルファベットサイズ $k$ が無限大に近づく際、2つの離散分布間のKL散乱推定における最適ミニマックスレートを同定すること。
• 密度比が無限大に達するため、全分布対の集合に対して一貫した推定量が存在しないという課題に対処すること。
• 密度比 $f(k)$ が有界であるような対に問題を制限することで、一貫性のある推定とミニマックスレートの同定を可能にすること。
• 一般化された Le Cam の手法と多項式近似を用いて、ミニマックス2次リスクのタイトな上界と下界を導出すること。
• プラグイン推定と多項式近似技術を組み合わせることで、ミニマックス最適推定量を構築すること。

提案手法

• 多項式近似によるバイアス補正を組み込んだ、標準的なプラグイン法を改善した増強プラグイン推定量を提案する。
• 一般化された Le Cam の手法を用いて、局所漸近正規性と検定の議論を活用してミニマックス2次リスクの下界を導出する。
• 特に小さな確率領域における $\log(P_i/Q_i)$ の推定におけるバイアスを制御するために、多項式近似を用いる。
• 密度比 $P_i/Q_i \leq f(k)$ を満たす制限付き集合 $\mathcal{M}_{k,f(k)}$ における最悪ケースの2次リスクを分析し、有界性と一貫性を保証する。
• 推定誤差をバイアスと分散の成分に分解し、集中不等式を用いてテール事象を慎重に取り扱うことでリスクバウンダリーを導出する。
• サンプル複雑度の条件下で、ミニマックスリスクが $\left(\frac{k}{m\log k} + \frac{kf(k)}{n\log k}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$ の定数倍のスケールに比例することが示される。

実験結果

リサーチクエスチョン

• RQ1 アルファベットサイズ $k$ が無限大に近づく際、KL散乱推定の根本的限界（ミニマックスレート）は何か？
• RQ2 $k \to \infty$ の下で、全分布対 $\mathcal{M}_k$ の集合に対して一貫した推定量が存在可能か？
• RQ3 有界密度比 $f(k)$ はKL散乱推定のミニマックスリスクにどのように影響を与えるか？
• RQ4 推定リスクを最小化するための、$P$ と $Q$ からのサンプルサイズ $m$ と $n$ の最適なトレードオフは何か？
• RQ5 導出された下界に達するミニマックス最適推定量を構築することは可能か？

主な発見

• 密度比が無限大に達するため、$k \to \infty$ の下で全集合 $\mathcal{M}_k$ の分布対に対して一貫した推定量は存在しない。
• 有界密度比 $f(k)$ を持つ制限付き集合 $\mathcal{M}_{k,f(k)}$ の下で、ミニマックス2次リスクは $\asymp \left(\frac{k}{m\log k} + \frac{kf(k)}{n\log k}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$ の定数倍の範囲に特徴づけられる。
• 提案された増強プラグイン推定量は、$m \gtrsim k$ および $n \gtrsim kf(k)$ の条件下で、最悪ケース2次リスクが $\left(\frac{k}{m} + \frac{kf(k)}{n}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$ の定数倍の範囲に収まる。
• ミニマックスリスクの下界は、一般化された Le Cam の手法を用いて導出され、2つの局所分布を構築し、それらの識別可能性を分析することで得られる。
• ミニマックス最適推定量は、対数関数の多項式近似とプラグイン推定を組み合わせることで構築され、バイアスの制御が保証される。
• 解析から、リスク項の分母に現れる $\log k$ 因子は、スパースなサンプリングを伴う高次元設定における分散を制御する必要性に起因することが示された。