[논문 리뷰] Learning-Augmented Algorithms for $k$-median via Online Learning

Anish Hebbar, Rong Ge외 2명|arXiv (Cornell University)|2026. 03. 18.

Machine Learning and Algorithms인용 수 0

한 줄 요약

이 논문은 순차적 $k$-중앙값 인스턴스에 대해 학습 보강 모델 Learn-Median을 도입하고 hindsight의 최적 고정 해에 비해 서브선형 후회를 갖는 결정적 및 무작위 온라인 알고리즘을 개발한다.

ABSTRACT

The field of learning-augmented algorithms seeks to use ML techniques on past instances of a problem to inform an algorithm designed for a future instance. In this paper, we introduce a novel model for learning-augmented algorithms inspired by online learning. In this model, we are given a sequence of instances of a problem and the goal of the learning-augmented algorithm is to use prior instances to propose a solution to a future instance of the problem. The performance of the algorithm is measured by its average performance across all the instances, where the performance on a single instance is the ratio between the cost of the algorithm's solution and that of an optimal solution for that instance. We apply this framework to the classic $k$-median clustering problem, and give an efficient learning algorithm that can approximately match the average performance of the best fixed $k$-median solution in hindsight across all the instances. We also experimentally evaluate our algorithm and show that its empirical performance is close to optimal, and also that it automatically adapts the solution to a dynamically changing sequence.

연구 동기 및 목표

• 온라인 학습에서 영감을 받은 순차적 $k$-중앙값 인스턴스에 대한 학습 보강 프레임워크를 동기 부여하고 형식화한다.
• 앞선 인스턴스를 사용해 미래 인스턴스에 대한 해를 출력하는 알고리즘을 설계하고 서브선형 후회를 달성한다.
• 결정적 및 무작위적 접근법 모두를 제공하여 최적에 근접한 경쟁 비를 달성한다.
• 합리적으로 변화하는 데이터 시퀀스에 대한 실험적 성능과 적응성을 입증한다.

제안 방법

• 각 인스턴스의 최적 해에 대한 비용의 비율로 정의된 손실을 갖는 시퀀스 기반 $k$-중앙값 문제로 Learn-Median을 도입한다.
• 라운드당 인스턴스 크기를 제한하고 전체 입력 크기 $n$과의 후회를 분리하기 위해 Learn-Median을 Learn-Bounded-Median으로 축소한다.
• 온라인 미러 디센트(온라인 미러 디센트)와 $eta$-하이볼릭 엔트로피 정규화기를 사용하여 Learn-Bounded-Median에 대한 분수형 온라인 알고리즘을 형식화한다.
• 두 가지 온라인 라운딩 방법(결정적 및 무작위)으로 분수 해를 정수형 $k$-중앙값 해로 변환하고 보장 가능한 성질을 제공한다.
• 후보 솔루션에 대해 과소비 없이 phase 기반 분석을 통해 서브선형 후회 및 hindsight에서 가장 좋은 고정 해에 대한 경쟁 비를 보장한다.
• 합성 데이터에 대한 실험적 검증을 통해 수렴 및 변화하는 분포에 대한 적응성을 보여준다.

실험 결과

연구 질문

• RQ1 학습 보강 프레임워크가 hindsight에서 최적 고정 해에 대해 경쟁적 후회를 달성할 수 있는가?
• RQ2 온라인 학습을 $k$-중앙값에 적용할 때의 근본적인 계산적 및 정보이론적 도전과 이를 극복하는 방법은 무엇인가?
• RQ3 결정적 및 무작위 라운딩이 서브선형 후회를 보존하면서 유효한 $k$-중앙값 해를 생성하는가?
• RQ4 다이나믹하고 진화하는 데이터 분포에서의 성능은 어떠한가?

주요 결과

• 결정적 알고리즘은 상수에 가까운 경쟁 비(O(k))와 서브선형 후회, 그리고 k 및 메트릭 비율 Δ에 따라 추가 항을 달성한다.
• 무작위 알고리즘은 경쟁 비를 O(1)로 감소시키고 서브선형 후회를 달성하며, 전체적으로는 불가피하게 (no o(1) 경쟁 비와 서브선형 후회 가능) 필요하다는 것이 보인다.
• Learn-Bounded-Median으로의 환원은 전체 인스턴스 크기 n에 의존하는 후회 경감을 유지하여 확장 가능한 온라인 학습을 가능하게 한다.
• 두 가지 온라인 라운딩 방법(결정적: O(k) 라운딩 로스, 무작위: O(1) 라운딩 로스)은 분수형 해로부터 정수형 $k$-중앙값 해를 도출한다.
• 합성 데이터에 대한 실험은 수렴 속도가 빠르게 최적 해에 근접하고 동적으로 변화하는 분포에 대한 적응성을 보여준다.
• 하한은 결정적 알고리즘에 대해 O(k) 경쟁 비가 타이트하고, 무작위 알고리즘에 대해 O(1) 비가 타이트함을 보여준다.