[論文レビュー] Learning-Augmented Algorithms for $k$-median via Online Learning

Anish Hebbar, Rong Ge+2 more|arXiv (Cornell University)|Mar 18, 2026

Machine Learning and Algorithms被引用数 0

ひとこと要約

この論文は、逐次的な $k$-median インスタンスに対して学習補助型モデル Learn-Median を導入し、後見的に最適解に対して支配的な固定解と競合する確定およびランダム化のオンラインアルゴリズムを開発し、後ろ向きでの後悔をサブ線形に抑える。

ABSTRACT

The field of learning-augmented algorithms seeks to use ML techniques on past instances of a problem to inform an algorithm designed for a future instance. In this paper, we introduce a novel model for learning-augmented algorithms inspired by online learning. In this model, we are given a sequence of instances of a problem and the goal of the learning-augmented algorithm is to use prior instances to propose a solution to a future instance of the problem. The performance of the algorithm is measured by its average performance across all the instances, where the performance on a single instance is the ratio between the cost of the algorithm's solution and that of an optimal solution for that instance. We apply this framework to the classic $k$-median clustering problem, and give an efficient learning algorithm that can approximately match the average performance of the best fixed $k$-median solution in hindsight across all the instances. We also experimentally evaluate our algorithm and show that its empirical performance is close to optimal, and also that it automatically adapts the solution to a dynamically changing sequence.

研究の動機と目的

• オンライン学習に触発された逐次的な $k$-median インスタンスの学習補助フレームワークを動機づけ formalize する。
• 過去のインスタンスを用いて将来のインスタンスの解を出力するアルゴリズムを設計し、後悔をサブ線形に抑える。
• ほぼ最適に近い競争比を達成する確定的およびランダム化アプローチの両方を提供する。
• 合成データを用いた経験的な性能と、動的に変化するデータ列への適応性を示す。

提案手法

• Learn-Median をロスが各インスタンスの produced cost / optimum の比として定義されるシーケンスベースの $k$-median 問題として導入する。
• Learn-Bounded-Median への還元により、ラウンドあたりのインスタンスサイズを制限し、全体の入力サイズ $n$ に対する後悔をデカップルする。
• オンライン鏡映降下法を用いたオンライン Fractional アルゴリズムを、$eta$-双曲エントロピー正則化子を用いて Learn-Bounded-Median のために定式化する。
• 分数解を整数の $k$-median 解へ変換する二つのオンライン丸めスキーム（確定的およびランダム化）を提供し、証明可能な保証を与える。
• 後悔をサブ線形に、後見的に最良の固定解に対する競争比も保証するフェーズベースの解析を行う。
• 実験検証として、合成データ上での収束と、変化する分布への適応性を議論する。

実験結果

リサーチクエスチョン

• RQ1 逐次的な $k$-median の学習補助フレームワークは、後見的に最良の固定解に対する競争的な後悔を達成できるか？
• RQ2 オンライン学習を $k$-median に適用する際の根本的な計算的および情報理論的課題は何で、どのように克服できるか？
• RQ3 確定的およびランダム化の丸めスキームは、サブ線形の後悔を保持しつつ実現可能な $k$-median 解を生み出すか？
• RQ4 動的で進化するデータ分布に対して、提案手法は実験的にどう機能するか？

主な発見

• 確定的アルゴリズムは、サブ線形の後悔とともに $O(k)$ の競争比を達成し、$k$ および度量のアスペクト比 Δ に依存する付加項も含む。
• ランダム化アルゴリズムは競争比を $O(1)$ に低減し、サブ線形の後悔を達成する。これが全体として必要であること（サブ線形の後悔を伴う$o(1)$競争比は不可能）も示される。
• Learn-Bounded-Median への還元により後悔の境界が全インスタンスサイズ $n$ に依存しなくなり、オンライン学習のスケーラビリティを実現。
• 二つのオンライン丸め手法（確定的は丸め損失が $O(k)$、ランダム化は丸め損失が $O(1)$）により、分数解から整数の $k$-median 解を得る。
• 合成データ上の実験は、最適解に近い解への急速な収束と、動的に変化する分布への適応性を示す。
• 下界は、確定的アルゴリズムに対して $O(k)$ の競争比が緊密であり、ランダム化アルゴリズムには $O(1)$ の比が緊密であることを示す。