[논문 리뷰] Stochastic Optimization for Performative Prediction

Celestine Mendler-Dünner, Juan C. Perdomo외 2명|arXiv (Cornell University)|2020. 06. 12.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 모델 배포가 데이터 분포를 이동시키는 performative prediction를 위한 확률적 최적화를 제안한다. 각 샘플 이후에 업데이트하고 배포하는 그레디드 배포(greedy deploy)와 여러 번 업데이트한 후에 배포하는 레이지 배포(lazy deploy)를 분석하며, 각각 수렴 속도가 O(1/k) 및 O(1/k^α)인 performative 안정성에 수렴함을 증명한다. 성능은 performativity 강도와 배포 비용에 따라 달라진다.

ABSTRACT

In performative prediction, the choice of a model influences the distribution of future data, typically through actions taken based on the model's predictions. We initiate the study of stochastic optimization for performative prediction. What sets this setting apart from traditional stochastic optimization is the difference between merely updating model parameters and deploying the new model. The latter triggers a shift in the distribution that affects future data, while the former keeps the distribution as is. Assuming smoothness and strong convexity, we prove rates of convergence for both greedily deploying models after each stochastic update (greedy deploy) as well as for taking several updates before redeploying (lazy deploy). In both cases, our bounds smoothly recover the optimal $O(1/k)$ rate as the strength of performativity decreases. Furthermore, they illustrate how depending on the strength of performative effects, there exists a regime where either approach outperforms the other. We experimentally explore the trade-off on both synthetic data and a strategic classification simulator.

연구 동기 및 목표

• 모델 선택이 데이터 분포를 이동시키는 온라인 확률적 최적화 환경에서 모델 배포의 과제를 다루기.
• Performative prediction 환경에서 빈번한 배포(그레디드)와 희박한 배포(레이지) 사이의 상충 관계를 수식화하기.
• 부드러움, 강한 볼록성, 그리고 리프시츠 연속성 분포 지도를 가정할 때, 그레디드 및 레이지 배포에 대한 이론적 수렴 보장을 수립하기.
• Performativity 강도와 배포 비용이 최적의 배포 전략에 미치는 영향을 조사하기.
• 합성 데이터와 전략적 분류 시뮬레이터에서 이론적 결과를 실험적으로 검증하기.

제안 방법

• 모델을 배포함으로써 데이터 분포 D(θ)가 이동하는 피드백 루프로 performative prediction를 모델링하며, 이는 향후 리스크 최소화에 영향을 미친다.
• Performative 안정성을 고정점으로 정의한다: θ ∈ argmin_θ′ E_{z∼D(θ)} ℓ(z;θ′), 이는 모델이 유도된 분포에서 최적임을 보장한다.
• 두 가지 변형을 제안한다: 그레디드 배포(n(k) = 1)와 레이지 배포(n(k) ≥ 1, α > 0에 대해 k^α로 선택), 여기서 n(k)은 배포 전의 확률적 업데이트 횟수이다.
• 손실 함수의 부드러움과 강한 볼록성, 그리고 분포 지도 D(·)의 워샤프트 메트릭에서의 리프시츠 연속성을 사용한다.
• 샘플 예산 제약 하에서 기대 리스크 감소 분석을 통해 수렴 속도를 유도하며, 그레디드 배포의 경우 O(1/k), 레이지 배포의 경우 O(1/k^α)를 도출한다.
• 이론적 경계에 따라 스텝 크기를 校정하며, performativity 강도 ε와 조건수 γ/β에 따라 조정한다.

실험 결과

연구 질문

• RQ1 모델 배포가 분포 이동을 유도하는 온라인 설정에서, 확률적 경사 방법이 performative 안정성으로 수렴할 수 있는가?
• RQ2 다양한 performativity 강도에서, 그레디드 및 레이지 배포 간의 선택이 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ3 수렴 시간과 배포 횟수를 최소화하기 위해 최적의 배포 일정(즉, 배포 전 업데이트 수)은 무엇인가?
• RQ4 이론적 수렴 속도가 분포 지도의 리프시츠 상수와 손실 함수의 조건수에 어떻게 의존하는가?
• RQ5 이론적 경계는 합성 및 실제 전략적 분류 설정에서 경험적으로 검증될 수 있는가?

주요 결과

• 그레디드 배포는 부드러움, 강한 볼록성, 충분히 리프시츠 연속인 분포 지도를 가정할 때, O(1/k) 수렴 속도로 performative 안정성에 수렴한다.
• 레이지 배포는 O(k^{1.1α})개의 샘플이 배포 간에 수집되는 한, 임의의 α > 0에 대해 O(1/k^α) 수렴 속도를 달성한다.
• Performativity가 약한 경우(ε ≪ γ/β), 그레디드 배포가 더 빠른 수렴 덕분에 레이지 배포를 능가한다.
• Performativity가 강한 경우(ε ≫ γ/β), 레이지 배포가 그레디드 배포를 크게 능가하며, 특히 α 값이 클수록 성능 향상이 두드러진다.
• ε = 100인 전략적 분류 시뮬레이터에서, α = 1인 레이지 배포가 수렴 속도와 배포 효율성 측면에서 그레디드 배포를 능가한다.
• 레이지 배포에서 α를 증가시키면, 고performative 환경에서 배포 횟수를 최대 90% 감소시키면서도 수렴 속도를 유지하거나 향상시킬 수 있다.