[论文解读] Estimation of KL Divergence: Optimal Minimax Rate

Yuheng Bu, Shaofeng Zou+2 more|arXiv (Cornell University)|Jul 9, 2016

Machine Learning and Algorithms参考文献 25被引用 9

一句话总结

本文確立了在字母表大小 $k$ 發展時，估算兩組離散分佈之間 Kullback-Leibler (KL) 散度的最優 minimax 速率。它提出了一種增強型插值估計器，並證明在有界密度比 $f(k)$ 條件下，minimax 二次風險處於 $\left(\frac{k}{m\log k} + \frac{kf(k)}{n\log k}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$ 的常數因子之內，使用廣義 Le Cam 方法與多項式逼近法。

ABSTRACT

The problem of estimating the Kullback-Leibler divergence $D(P\|Q)$ between two unknown distributions $P$ and $Q$ is studied, under the assumption that the alphabet size $k$ of the distributions can scale to infinity. The estimation is based on $m$ independent samples drawn from $P$ and $n$ independent samples drawn from $Q$. It is first shown that there does not exist any consistent estimator that guarantees asymptotically small worst-case quadratic risk over the set of all pairs of distributions. A restricted set that contains pairs of distributions, with density ratio bounded by a function $f(k)$ is further considered. {An augmented plug-in estimator is proposed, and its worst-case quadratic risk is shown to be within a constant factor of $(\frac{k}{m}+\frac{kf(k)}{n})^2+\frac{\log ^2 f(k)}{m}+\frac{f(k)}{n}$, if $m$ and $n$ exceed a constant factor of $k$ and $kf(k)$, respectively.} Moreover, the minimax quadratic risk is characterized to be within a constant factor of $(\frac{k}{m\log k}+\frac{kf(k)}{n\log k})^2+\frac{\log ^2 f(k)}{m}+\frac{f(k)}{n}$, if $m$ and $n$ exceed a constant factor of $k/\log(k)$ and $kf(k)/\log k$, respectively. The lower bound on the minimax quadratic risk is characterized by employing a generalized Le Cam's method. A minimax optimal estimator is then constructed by employing both the polynomial approximation and the plug-in approaches.

研究动机与目标

• 當字母表大小 $k$ 趋於無窮大時，描述估算兩組離散分佈之間 KL 散度的最優 minimax 速率。
• 解決因密度比無界而導致對所有分佈對均無一致估計器的挑戰。
• 將問題限制於有界密度比 $f(k)$ 的分佈對，以實現一致估計與 minimax 速率的特徵化。
• 利用廣義 Le Cam 方法與多項式逼近法，推導 minimax 二次風險的緊緻上下界。
• 透過結合插值估計與多項式逼近技術，構建 minimax 最優估計器。

提出的方法

• 提出一種增強型插值估計器，透過多項式逼近進行偏差修正，改善標準插值方法。
• 使用廣義 Le Cam 方法推導 minimax 二次風險的下界，利用局部漸近正態性與假設檢驗論證。
• 使用多項式逼近控制對 $\log(P_i/Q_i)$ 函數估計中的偏差，特別是在機率值較小的區域。
• 分析受限集合 $\mathcal{M}_{k,f(k)}$ 上的最壞情況二次風險，定義為 $P_i/Q_i \leq f(k)$，以確保有界性與一致性。
• 透過將估計誤差分解為偏差與變異兩部分來推導風險界，並使用集中不等式仔細處理尾部事件。
• 確立 minimax 風險的尺度為 $\left(\frac{k}{m\log k} + \frac{kf(k)}{n\log k}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$，在樣本複雜度條件下僅相差常數因子。

实验结果

研究问题

• RQ1 當字母表大小 $k$ 趨於無窮大時，估算 KL 散度的根本極限（minimax 速率）為何？
• RQ2 在 $k$ 發展時，對所有分佈對 $\mathcal{M}_k$，是否存在一致估計器？
• RQ3 有界密度比 $f(k)$ 對 KL 散度估計的 minimax 風險有何影響？
• RQ4 為最小化估計風險，來自 $P$ 和 $Q$ 的樣本大小 $m$ 與 $n$ 之間的最優權衡為何？
• RQ5 能否構建一個達到所推導下界的 minimax 最優估計器？

主要发现

• 當 $k \to \infty$ 時，由於密度比無界，對全集合 $\mathcal{M}_k$ 的分佈對均不存在一致估計器。
• 在受限集合 $\mathcal{M}_{k,f(k)}$ 且有界密度比 $f(k)$ 條件下，minimax 二次風險特徵化為 $\asymp \left(\frac{k}{m\log k} + \frac{kf(k)}{n\log k}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$，僅相差常數因子。
• 所提出的增強型插值估計器在 $m \gtrsim k$ 與 $n \gtrsim kf(k)$ 條件下，其最壞情況二次風險處於 $\left(\frac{k}{m} + \frac{kf(k)}{n}\right)^2 + \frac{\log^2 f(k)}{m} + \frac{f(k)}{n}$ 的常數因子之內。
• minimax 風險的下界透過廣義 Le Cam 方法推導，其過程包括構建兩個局部分佈並分析其可區分性。
• minimax 最優估計器透過結合對數函數的多項式逼近與插值估計構建，確保偏差控制。
• 分析顯示，風險項分母中的 $\log k$ 因子來自於在稀疏採樣的高維設定中控制變異的需要。