[论文解读] Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability

Peisong Wen, Qianqian Xu+3 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文提出了一种新颖的随机优化框架用于AUPRC，在单查询设置下实现了可证明的算法相关泛化——这是文献中的首次。通过引入一种采样率不变、渐近无偏的随机估计器，并将AUPRC表述为两级组合问题，该方法借助混合SGD算法确保了稳定性和收敛性，在图像检索基准上显著优于先前方法，mAUPRC提升显著。

ABSTRACT

Stochastic optimization of the Area Under the Precision-Recall Curve (AUPRC) is a crucial problem for machine learning. Although various algorithms have been extensively studied for AUPRC optimization, the generalization is only guaranteed in the multi-query case. In this work, we present the first trial in the single-query generalization of stochastic AUPRC optimization. For sharper generalization bounds, we focus on algorithm-dependent generalization. There are both algorithmic and theoretical obstacles to our destination. From an algorithmic perspective, we notice that the majority of existing stochastic estimators are biased only when the sampling strategy is biased, and is leave-one-out unstable due to the non-decomposability. To address these issues, we propose a sampling-rate-invariant unbiased stochastic estimator with superior stability. On top of this, the AUPRC optimization is formulated as a composition optimization problem, and a stochastic algorithm is proposed to solve this problem. From a theoretical perspective, standard techniques of the algorithm-dependent generalization analysis cannot be directly applied to such a listwise compositional optimization problem. To fill this gap, we extend the model stability from instancewise losses to listwise losses and bridge the corresponding generalization and stability. Additionally, we construct state transition matrices to describe the recurrence of the stability, and simplify calculations by matrix spectrum. Practically, experimental results on three image retrieval datasets on speak to the effectiveness and soundness of our framework.

研究动机与目标

• 为单查询场景下的随机AUPRC优化中的算法相关泛化这一开放问题提供解决方案。
• 解决现有随机估计器因采样率依赖性和留一法不稳定性导致的偏差与不稳定性问题。
• 将模型稳定性和泛化理论从实例级损失扩展至组合优化中的列表级损失。
• 开发一种可证明收敛且稳定的AUPRC优化算法，使其在低查询场景下具有良好的泛化能力。
• 在图像检索数据集上实证验证该框架，展示其最先进的性能表现。

提出的方法

• 通过使用辅助排序向量重新表述度量，提出一种采样率不变、渐近无偏的随机估计器用于AUPRC。
• 将AUPRC优化重构为两级组合问题，以实现稳定且可微分的优化。
• 提出一种混合优化算法，结合随机梯度下降、线性插值和指数移动平均，以确保收敛性和稳定性。
• 将模型稳定性概念从实例级扩展至列表级损失，使AUPRC的泛化分析成为可能。
• 为组合优化中的交替变量更新构建状态转移矩阵，并通过矩阵谱分解简化稳定性分析。
• 引入半方差正则化项以增强估计器的稳定性和泛化能力。

实验结果

研究问题

• RQ1 在单查询场景下，是否可以为随机AUPRC优化建立算法相关泛化？此前工作仅在多查询设置下保证了泛化。
• RQ2 如何校正AUPRC的有偏且不稳定的随机估计器，以在不同采样率下同时保证无偏性和稳定性？
• RQ3 标准的算法相关泛化框架能否扩展至AUPRC这类列表级、不可分解的损失？
• RQ4 状态转移矩阵在分析两级组合优化问题稳定性方面起到什么作用？
• RQ5 与现有AUPRC优化基线相比，该方法在泛化能力和性能表现上的实证比较结果如何？

主要发现

• 在SOP数据集上，该方法实现了63.27的最高mAUPRC，较之前最佳方法（SmoothAP）高出1.31分。
• 在iNaturalist数据集上，该方法在trainval划分上达到37.31 mAUPRC，领先于第二名（SmoothAP）2.42分。
• 在VehicleID数据集上，该方法在trainval划分上达到83.70 mAUPRC，超过次佳方法（DIR）2.11分。
• 图7中的收敛曲线显示，该方法比SmoothAP和FastAP等基线方法收敛更快且更稳定。
• 图6中的平均PR曲线表明，该方法在所有数据集上均表现出一致优势，尤其在高召回率区域更为显著。
• 理论分析证实，所提出的估计器具有渐近无偏性，并展现出改进的稳定性，该结论通过基于矩阵谱的稳定性计算得到验证。