[论文解读] Approximate Profile Maximum Likelihood

Dmitri S. Pavlichin, Jiantao Jiao+1 more|arXiv (Cornell University)|Dec 19, 2017

Bayesian Modeling and Causal Inference参考文献 29被引用 12

一句话总结

该论文提出了一种高效的动态规划算法用于近似轮廓最大似然（APML），通过将具有相似经验频率的符号聚类，以降低PML计算中矩阵永久值的下界。该方法在估计微分熵、Rényi熵、支撑集大小和散度泛函方面实现了最先进的经验性能，具有线性时间复杂度且无需调参。

ABSTRACT

We propose an efficient algorithm for approximate computation of the profile maximum likelihood (PML), a variant of maximum likelihood maximizing the probability of observing a sufficient statistic rather than the empirical sample. The PML has appealing theoretical properties, but is difficult to compute exactly. Inspired by observations gleaned from exactly solvable cases, we look for an approximate PML solution, which, intuitively, clumps comparably frequent symbols into one symbol. This amounts to lower-bounding a certain matrix permanent by summing over a subgroup of the symmetric group rather than the whole group during the computation. We extensively experiment with the approximate solution, and find the empirical performance of our approach is competitive and sometimes significantly better than state-of-the-art performance for various estimation problems.

研究动机与目标

• 解决精确轮廓最大似然（PML）的计算不可行性，其NP难性源于矩阵永久值的计算。
• 开发一种实用的、无需参数的PML近似方法，将具有相似经验频率的符号聚类为层级集合。
• 实现函数泛函（如熵、Rényi熵和L1距离）的即插即用估计，达到最优样本复杂度。
• 将APML框架扩展至多维PML，用于散度估计，包括KL、Hellinger和χ²散度。
• 提供一种可扩展的算法，能够检测近似PML分布中的离散部分和连续部分，尤其在支撑集大小未知的情况下。

提出的方法

• 通过仅保留保持候选分布层级集合的排列，对PML进行近似，从而得到一个下界目标函数。
• 将APML目标函数表述为最大化KL散度项与各层级集合大小阶乘的乘积：$\bar{p}^* = \arg\max_p \left( e^{-nD(\hat{p}||p)} \prod_{\alpha \in A(p)} |\alpha|! \right)$。
• 使用动态规划计算最优层级集合划分，并通过关于未见符号数的二分查找来确定最优支撑集大小。
• 对于每个频率组$i$，通过在$F_0$上对函数$f(F_0, K_i, N_i) = \log\left(\frac{(K_i + F_0)!}{F_0!}\right) - N_i \log(K_i + F_0)$进行单峰优化，计算最优未见符号数$F_0^{(i)}$。
• 通过识别在有限$F_0$处未达到上确界，检测分布中存在连续部分的情况（当$F_1 > 1$且$i=1$时），并单独处理离散部分。
• 使用双射数的划分方法将该方法扩展至多维PML，由于计算复杂度增加，采用贪心启发式算法。

实验结果

研究问题

• RQ1 我们能否设计一种计算高效的PML近似方法，避免精确PML计算的指数级开销？
• RQ2 将具有相似经验频率的符号聚类为层级集合，是否能提供一种实用且准确的PML近似？
• RQ3 APML估计器能否在估计熵和支撑集大小等函数泛函时达到最优样本复杂度？
• RQ4 在支撑集大小未知的情况下，如何检测并处理PML分布中存在连续分量的情形？
• RQ5 APML框架能否扩展至多维PML，用于散度估计并具备理论保证？

主要发现

• 所提出的APML算法在支撑集大小优化中运行时间为$O(\sqrt{n} \log n)$，使其可扩展至大规模样本。
• APML估计器在估计熵、Rényi熵和与均匀分布的L1距离方面，与现有最先进方法相比，表现出竞争性或更优的经验性能。
• 当$i=1$且$F_1 > 1$时，$F_0$上的上确界在任何有限$F_0$处均未达到，表明近似PML分布中存在质量为$N_1/n$的连续部分。
• 当$N_i \geq K_i H_{K_i}$时，最优$F_0^{(i)} = 0$，意味着该频率组无需额外未见符号。
• 函数$f(F_0, K_i, N_i)$在$F_0$上具有单峰性，使得可通过$O(\log n)$时间每组的二分查找高效求解最优$F_0^{(i)}$。
• APML方法在多维情况下对各类散度泛函（包括KL、Hellinger和$\chi^2$散度）实现了最优样本复杂度。