[논문 리뷰] Outside the Echo Chamber: Optimizing the Performative Risk

John A. Miller, Juan C. Perdomo외 1명|arXiv (Cornell University)|2021. 02. 17.

Neural dynamics and brain function참고 문헌 42인용 수 16

한 줄 요약

이 논문은 모델이 예측하는 데이터 분포에 영향을 미치는 performative prediction 설정에서 직접적으로 performative risk를 최적화하는 프레임워크를 제안한다. performative effects가 모델의 smoothness와 strong convexity에 비해 유한할 경우, performative risk가 볼록이 되는 조건을 규명함으로써, 기존 방법보다 더 높은 샘플 효율성을 확보한 유도되지 않은 최적화를 가능하게 한다.

ABSTRACT

In performative prediction, predictions guide decision-making and hence can influence the distribution of future data. To date, work on performative prediction has focused on finding performatively stable models, which are the fixed points of repeated retraining. However, stable solutions can be far from optimal when evaluated in terms of the performative risk, the loss experienced by the decision maker when deploying a model. In this paper, we shift attention beyond performative stability and focus on optimizing the performative risk directly. We identify a natural set of properties of the loss function and model-induced distribution shift under which the performative risk is convex, a property which does not follow from convexity of the loss alone. Furthermore, we develop algorithms that leverage our structural assumptions to optimize the performative risk with better sample efficiency than generic methods for derivative-free convex optimization.

연구 동기 및 목표

• 예측이 데이터 분포에 영향을 미치는 설정에서 performative stability가 최적 모델 성능의(proxy)로 부적절한 점을 해결한다.
• 강한 performative 효과가 존재하더라도 performative risk가 볼록이 되는 조건을 규명한다.
• 안정된 고정점으로 수렴하는 것 대신 performative risk를 직접 최소화하는 효율적 최적화 알고리즘을 개발한다.
• 분포 이동과 손실 함수 성질에 대한 구조적 가정을 활용해, 도함수 기반 최적화(DFO)의 샘플 효율성을 향상시킨다.

제안 방법

• 모델이 유도하는 분포 하에서의 기대 손실로 performative risk를 정의한다: $\mathrm{PR}(\theta) = \mathbb{E}_{z \sim \mathcal{D}(\theta)}[\ell(z; \theta)]$.
• 분포 이동이 잘 조절되도록 보장하기 위해 분포 맵 $\mathcal{D}(\cdot)$ 에 대한 확률적 지배 조건을 도입한다.
• 볼록성 임계값을 설정한다: performative risk는 $\varepsilon \leq \frac{\gamma}{2\beta}$ 일 때 볼록해지며, 여기서 $\varepsilon$ 는 $\mathcal{D}(\cdot)$ 의 리프시츠 상수, $\gamma$ 는 $\theta$ 에 대한 손실의 강한 볼록성, $\beta$ 는 $z$ 에 대한 스무쓰니스이다.
• 먼저 데이터 분포의 평균 이동을 추정하고, 수집된 데이터를 바탕으로 프록시 최적화 문제를 해결하는 두 단계 알고리즘을 제안한다.
• 도함수 기반 최적화(DFO) 및 그레디/레이지 SGD 방법을 performative risk 설정에 적응시켜, 맞춤형 초모수 및 샘플링 전략을 적용한다.
• 50회의 시도에 걸친 부트스트랩 신뢰구간을 사용해 알고리즘과 샘플 크기에 따라 하위최적화 갭과 performative risk를 평가한다.

실험 결과

연구 질문

• RQ1 강한 performative 효과가 존재하더라도 performative risk가 볼凸이 되는 조건은 무엇인가?
• RQ2 performatively stable 고정점으로 수렴하는 것 외에 performative risk를 더 효율적으로 최적화할 수 있는가?
• RQ3 performative 효과의 강도가 performative risk의 볼凸성에 어떤 영향을 미치는가?
• RQ4 안정된 점으로 수렴하는 것 외에도 분포 이동을 사전에 고려하는 알고리즘을 설계할 수 있는가?
• RQ5 구조적 가정 하에 performative risk 최소화에 적용했을 때, 도함수 기반 최적화 방법의 샘플 효율성은 어떠한가?

주요 결과

• 분포 맵 $\mathcal{D}(\cdot)$ 가 $\varepsilon$-리프시츠이면서 확률적 지배 조건을 만족하고, $\varepsilon \leq \frac{\gamma}{2\beta}$ 를 만족할 경우 performative risk는 볼凸이 된다. 여기서 $\gamma$ 와 $\beta$ 는 손실의 강한 볼凸성 및 스무쓰니스 파라미터이다.
• 안정된 모델은 진정 최적 모델 대비 임의로 큰 하위최적화 갭을 가질 수 있으며, 이는 안정성이 performative risk 최소화의 신뢰할 만한 proxy가 아니라는 것을 보여준다.
• 두 단계 알고리즘은 합성 및 전략적 분류 실험에서 일반적인 DFO 및 SGD 기준보다 더 높은 샘플 효율성을 확보한다.
• 전략적 분류 설정에서 $\varepsilon = 0.0001$ (임계값 이하) 일 경우 performative risk는 여전히 볼凸이며, 알고리즘은 낮은 하위최적화 갭으로 수렴한다.
• $\varepsilon = 100$ (임계값 초과) 일 경우 performative risk는 비볼凸이 되며, 모든 알고리즘이 더 높은 하위최적화 갭을 보이며 이는 이론적 볼凸 임계값을 확인한다.
• 그레디 및 레이지 SGD 변형은 분포 이동을 더 잘 다루기 때문에, 특히 낮은 샘플 영역에서 표준 DFO보다 수렴 속도와 안정성 면에서 뛰어나다.