[논문 리뷰] The Stability of Online Algorithms in Performative Prediction

Gabriele Farina, Juan C. Perdomo|arXiv (Cornell University)|2026. 02. 27.

Advanced Bandit Algorithms Research인용 수 0

한 줄 요약

이 논문은 수행적 설정에서 배포된 어떤 no-regret 온라인 알고리즘도 Lipschitz 연속성을 가정하지 않고 수행적으로 안정적인 모델의 혼합으로 수렴하며, 안정성 보장을 약하게 볼록한 혹은 비매끄러운 손실로까지 확장한다는 것을 증명한다.

ABSTRACT

The use of algorithmic predictions in decision-making leads to a feedback loop where the models we deploy actively influence the data distributions we see, and later use to retrain on. This dynamic was formalized by Perdomo et al. 2020 in their work on performative prediction. Our main result is an unconditional reduction showing that any no-regret algorithm deployed in performative settings converges to a (mixed) performatively stable equilibrium: a solution in which models actively shape data distributions in ways that their own predictions look optimal in hindsight. Prior to our work, all positive results in this area made strong restrictions on how models influenced distributions. By using a martingale argument and allowing randomization, we avoid any such assumption and sidestep recent hardness results for finding stable models. Lastly, on a more conceptual note, our connection sheds light on why common algorithms, like gradient descent, are naturally stabilizing and prevent runaway feedback loops. We hope our work enables future technical transfer of ideas between online optimization and performativity.

연구 동기 및 목표

• 배포된 모델이 미래 데이터에 영향을 미치는 예측 의사결정에서 수행성(performativity)을 동기부여하고 형식화한다.
• 어떤 no-regret 온라인 알고리즘도 수행적으로 안정된 모델의 혼합을 산출한다는 것을 보인다.
• 데이터 생성 맵에 대해 Lipschitz 연속성이나 매끄러움 가정을 필요로 하지 않는 안정성 보장을 제공한다.
• 그들의 반복이 혼합될 때 gradient descent와 같은 일반 알고리즘이 안정성을 달성한다는 것을 보여준다.
• 약하게 볼록한 또는 비매끄러운 손실 함수와 유한 샘플 재학습(regaining) 구간에 대한 안정성 결과를 확장한다.

제안 방법

• 데이터 생성 과정을 z_t ~ D(θ_t)로 모델링한다. 여기서 θ_t는 현재 모델이다.
• no-regret 온라인 알고리즘에 의해 생성된 일련의 모델들을 고려하고 {θ_1,...,θ_T}에 대한 균일 혼합 μ를 형성한다.
• 일률적 혼합 μ가 Regret(T)/T-수행적으로 안정임을 Martingale 기반의 온라인-투-배치 증거에 의해 보인다.
• 연속성이나 강한 볼록성을 필요로 하지 않는다는 점에서 D(·)의 연속성이나 손실의 강한 볼록성에 대한 선행 연구와의 차이를 보인다.
• 폭넓은 조건에서 재훈련에 대한 유한 샘플 보장과 SGD/gradient-descent에 대한 보조 결과를 도출한다.
• 약하게 볼록한 또는 비매끄러운 손실에서의 안정성에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 D(·)를 통해 유도된 분포와 결합된 어떤 no-regret 온라인 알고리즘도 수행적으로 안정된 모델의 혼합으로 수렴하는가?
• RQ2 D(·)의 Lipschitz/연속성 가정 없이도 안정성 보장을 얻을 수 있는가?
• RQ3 일반적인 최적화 절차(예: gradient descent, 재학습)가 혼합 기반 축소를 통해 수행적 안정성을 상속하는가?
• RQ4 비매끄럽거나 약하게 볼록한 손실을 가진 수행적 환경에서 재훈련에 대해 어떤 유한 샘플 보장을 도출할 수 있는가?
• RQ5 이 결과들이 더 엄격한 매끄러움 가정하의 기존 수행적 예측 연구와 어떻게 연관되고 확장되는가?

주요 결과

• 어떤 no-regret 온라인 알고리즘의 반복들에 대한 균일 혼합은 Regret(T)/T-수행적으로 안정적이다.
• 연속성이나 Lipschitz 가정 없이 임의의 분포 맵 D(·)에 대해 안정성이 성립한다.
• 보조결과는 gradient descent와 재훈련이 약화된 손실/DT 조건하에서 비매끄럽거나 약하게 볼록한 손실을 포함해 안정성으로 수렴함을 보여준다.
• 완화된 재훈련에 대한 유한 샘플 결과가 얻어지며, 폭넓은 가정 하에서 기존 속도와 일치하거나 개선한다.
• 이 프레임워크는 동적이고 수행적 환경에서 클래식 알고리즘이 왜 자연스럽게 폭주하는 피드백 루프에 저항하는지 설명한다.
• 결과들은 수행성을 위한 온라인 학습 관점을 제공하며 안정성 보장을 새로운 영역으로 확장한다.