[论文解读] Learning-Augmented Algorithms for $k$-median via Online Learning

Anish Hebbar, Rong Ge+2 more|arXiv (Cornell University)|Mar 18, 2026

Machine Learning and Algorithms被引用 0

一句话总结

这篇论文为序列化的 k-中位数问题引入了学习增强模型 Learn-Median，并提出了确定性和随机在线算法，与回溯中表现最佳的固定解相比具有次线性 regret 的竞争性表现。

ABSTRACT

The field of learning-augmented algorithms seeks to use ML techniques on past instances of a problem to inform an algorithm designed for a future instance. In this paper, we introduce a novel model for learning-augmented algorithms inspired by online learning. In this model, we are given a sequence of instances of a problem and the goal of the learning-augmented algorithm is to use prior instances to propose a solution to a future instance of the problem. The performance of the algorithm is measured by its average performance across all the instances, where the performance on a single instance is the ratio between the cost of the algorithm's solution and that of an optimal solution for that instance. We apply this framework to the classic $k$-median clustering problem, and give an efficient learning algorithm that can approximately match the average performance of the best fixed $k$-median solution in hindsight across all the instances. We also experimentally evaluate our algorithm and show that its empirical performance is close to optimal, and also that it automatically adapts the solution to a dynamically changing sequence.

研究动机与目标

• 为受到在线学习启发的序列化 k-中位数问题建立并形式化一个学习增强框架的动机与目标。
• 设计能够利用先前实例为未来实例输出解的算法，并实现次线性 regret。
• 提供确定性和随机性两种方法，使竞争比接近最优。
• 展示在动态变化数据序列中的经验性能与自适应能力。

提出的方法

• 将 Learn-Median 引入为一个基于序列的 k-中位数问题，其损失定义为每个实例的产生成本与最优解之比。
• 将 Learn-Median 转化为 Learn-Bounded-Median，以限定每轮的实例规模并将 regret 与整体输入规模 n 解耦。
• 使用 online mirror descent（带 β-双曲熵正则化器）为 Learn-Bounded-Median 形成一个分式在线算法。
• 提供两种在线四舍五入方案（确定性和随机性）将分式解转化为可行的整数 k-中位数解，并给出可证明的保证。
• 给出一个基于阶段的分析，得到相对于回溯中最佳固定解的次线性 regret 与竞争比保证。
• 在合成数据上进行实验验证，展示收敛性与对变化分布的自适应性。

实验结果

研究问题

• RQ1 学习增强框架是否能在序列化的 k-中位数问题上实现对回溯中最佳固定解的竞争性 regret？
• RQ2 将在线学习应用于 k-中位数面临的基本计算与信息论挑战是什么，如何克服？
• RQ3 确定性与随机化的四舍五入方案是否能够在产生可行的 k-中位数解的同时保持次线性 regret？
• RQ4 该方法在动态演变的数据分布上在经验上表现如何？

主要发现

• 确定性算法在次线性 regret 的同时达到 O(k) 的竞争比，并附带与 k 以及度量比 Δ 相关的附加项。
• 随机算法将竞争比降至 O(1) 且具备次线性 regret，且这在总体上是必要的（不存在具有次线性 regret 的 o(1) 竞争比）。
• 将问题简化为 Learn-Bounded-Median，使 regret 上界与完整实例规模 n 无关，从而实现可扩展的在线学习。
• 两种在线四舍五入方法（确定性：O(k) 的四舍五入损失；随机性：O(1) 的四舍五入损失）能够从分式解得到整数的 k-中位数解。
• 在合成数据上的实验表明能够快速收敛到近似最优解，并对动态变化的分布具备自适应性。
• 下界结果表明确定性算法的 O(k) 竞争比是紧的，而随机算法的 O(1) 竞争比也是紧的。