[论文解读] Calculating Optimistic Likelihoods Using (Geodesically) Convex Optimization

Viêt Anh Nguyên, Soroosh Shafieezadeh-Abadeh+3 more|arXiv (Cornell University)|Oct 17, 2019

Advanced Statistical Methods and Models被引用 6

一句话总结

该论文提出了一种计算高效的乐观似然计算方法，通过利用基于Fisher-Rao距离定义的模糊集上的测地线凸优化。该方法在分布不确定性下实现了鲁棒的似然评估，具有理论保证，并且当使用Fisher-Rao或Kullback-Leibler散度作为差异度量时，可通过凸优化实现高效求解。

ABSTRACT

A fundamental problem arising in many areas of machine learning is the evaluation of the likelihood of a given observation under different nominal distributions. Frequently, these nominal distributions are themselves estimated from data, which makes them susceptible to estimation errors. We thus propose to replace each nominal distribution with an ambiguity set containing all distributions in its vicinity and to evaluate an \emph{optimistic likelihood}, that is, the maximum of the likelihood over all distributions in the ambiguity set. When the proximity of distributions is quantified by the Fisher-Rao distance or the Kullback-Leibler divergence, the emerging optimistic likelihoods can be computed efficiently using either geodesic or standard convex optimization techniques. We showcase the advantages of working with optimistic likelihoods on a classification problem using synthetic as well as empirical data.

研究动机与目标

• 解决基于似然的推断在机器学习中对名义分布设定错误的敏感性问题。
• 通过考虑在接近名义估计的模糊集上取最大似然，开发标准似然评估的鲁棒替代方法。
• 当使用Fisher-Rao距离或Kullback-Leibler散度作为接近度量时，利用测地线凸优化实现乐观似然的高效计算。
• 通过合成数据和实证数据，展示乐观似然在分类任务中的优势。

提出的方法

• 将乐观似然表述为在由差异度量φ（如Fisher-Rao或Kullback-Leibler散度）定义的模糊集上的最大化问题。
• 由于Fisher-Rao距离具有非正截面曲率，因此选择其作为差异度量，以实现测地线凸性并实现高效优化。
• 通过Lagrangian松弛法将原始的似然最大化问题转化为对偶问题，将其简化为对一个标量γ > 0的一维优化问题。
• 利用矩阵恒等式（如Woodbury公式）推导对偶问题的闭式表达式，尤其在协方差矩阵具有低秩结构时。
• 使用基于梯度的方法求解所得的一维优化问题，并提供解析的一阶和二阶导数以提升数值效率。
• 将该方法应用于满秩和低秩协方差情形，对后者通过特征值分解导出奇异简化形式。

实验结果

研究问题

• RQ1 当真实分布不确定但接近名义估计时，能否高效计算乐观似然？
• RQ2 使用Fisher-Rao距离作为差异度量是否能导致测地线凸优化问题且可计算？
• RQ3 与标准似然估计相比，乐观似然方法在鲁棒性和分类性能方面表现如何？
• RQ4 在不同差异度量下，求解乐观似然问题的计算复杂度如何？
• RQ5 能否利用矩阵恒等式简化乐观似然问题的对偶形式，以实现高效的数值实现？

主要发现

• 由于Fisher-Rao流形的非正截面曲率，基于Fisher-Rao距离的乐观似然问题可简化为测地线凸优化问题。
• 对偶问题为对γ > 0的一维优化问题，可通过基于梯度的方法高效求解，并提供解析的一阶和二阶导数。
• 对于低秩协方差结构，可通过特征值分解将问题简化为k维问题，显著提升计算效率。
• 该方法实现精确对偶间隙，并可从对偶变量γ*重构最优协方差矩阵。
• 在合成数据和实证数据上的数值实验表明，乐观似然在分布不确定性下的分类任务中优于标准似然。
• Kullback-Leibler散度同样可导出凸问题，但Fisher-Rao距离因具有更优的几何特性与计算可处理性而更受青睐。