[논문 리뷰] How to Learn when Data Reacts to Your Model: Performative Gradient Descent

Zachary Izzo, Lexing Ying외 1명|arXiv (Cornell University)|2021. 02. 15.

Reinforcement Learning in Robotics참고 문헌 25인용 수 11

한 줄 요약

이 논문은 모델 파라미터의 변화가 데이터 분포를 어떻게 이동시키는지 명시적으로 모델링함으로써, 퍼포매티브 최적 모델로 증명 가능하게 수렴하는 새로운 알고리즘인 퍼포매티브 그래디언트 디센트(PerfGD)를 소개한다. 기존 방법들이 하위최적의 퍼포매티브 안정점으로 수렴하는 데 반해, PerfGD는 파rametric 가정 하에 더 정확한 그래디언트 추정을 수행하여 실험적으로 훨씬 낮은 퍼포매티브 손실을 달성한다—특히 회귀 과제에서 최대 10배의 감소를 기록한다.

ABSTRACT

Performative distribution shift captures the setting where the choice of which ML model is deployed changes the data distribution. For example, a bank which uses the number of open credit lines to determine a customer's risk of default on a loan may induce customers to open more credit lines in order to improve their chances of being approved. Because of the interactions between the model and data distribution, finding the optimal model parameters is challenging. Works in this area have focused on finding stable points, which can be far from optimal. Here we introduce performative gradient descent (PerfGD), which is the first algorithm which provably converges to the performatively optimal point. PerfGD explicitly captures how changes in the model affects the data distribution and is simple to use. We support our findings with theory and experiments.

연구 동기 및 목표

• 기존 방법들이 진정한 퍼포매티브 최적 점이 아닌 퍼포매티브 안정점으로 수렴하는 한계를 해결한다.
• 모델 배포로 인한 분포 이동 문제를 극복한다. 여기서 개인이나 시스템은 모델 예측에 대응해 행동을 변화시킨다.
• 퍼포매티브 손실을 직접 목표로 삼는 실용적이고 이론적으로 탄탄한 최적화 알고리즘을 개발한다. 이는 퍼포매티브 효과 하에서 모델 훈련의 진정한 목표이다.
• 데이터 생성 과정에 대한 현실적인 가정 하에 수렴성과 그래디언트 추정 정확성에 대한 이론적 보장을 제공한다.
• 실험적으로 PerfGD가 분류 및 회귀 설정 모두에서 반복 그래디언트 디센트(RGD)와 반복 리스크 최소화(RRM)와 같은 기존 기준보다 퍼포매티브 손실과 수렴 행동 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 모델 파라미터에 의해 유도되는 데이터 분포에서의 배포된 모델의 기대 손실로 퍼포매티브 손실을 수식화한다. 이는 모델 파라미터에 의존한다.
• 모델 파라미터에서 유도되는 데이터 분포로의 이동을 미분 가능 맵으로 모델링함으로써 수정된 그래디언트 추정을 유도한다.
• 분포 이동의 파arametric 근사(예: 선형 또는 이차 종속성)를 사용하여 모델 파라미터에 대한 분포 맵의 도수를 추정한다.
• 유한 차분 또는 해석적 도수를 사용하여 데이터 분포가 모델 파라미터 변화에 얼마나 민감한지 추정한다.
• 수정된 그래디언트를 표준 그래디언트 디센트 프레임워크에 통합하여, 퍼포매티브 그래디언트를 사용해 반복적으로 모델 파라미터를 업데이트하는 PerfGD를 도출한다.
• 손실 및 분포 맵의 매끄럽고 유계라는 조건을 가정하여 이론적 수렴성을 확보하고, 이러한 조건 하에서 PerfGD가 퍼포매티브 최적 점으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 퍼포매티브 안정점이 아닌 진정한 퍼포매티브 최적 점으로 수렴하는 최적화 알고리즘을 설계할 수 있는가?
• RQ2 데이터 분포가 모델 파라미터에 의존할 때, 퍼포매티브 그래디언트를 정확히 추정할 수 있는가?
• RQ3 분포 이동에 대한 현실적인 가정 하에 최적 해로의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 퍼포매티브 손실과 수렴 행동 면에서 기존 방법들인 RGD와 RRM에 비해 PerfGD는 어떻게 비교되는가?
• RQ5 퍼포매티브 안정점이 퍼포매티브 최적 점에서 크게 벗어나는 설정은 언제이며, PerfGD는 이러한 격차를 효과적으로 메울 수 있는가?

주요 결과

• 손실 및 분포 맵의 매끄럽고 유계라는 조건 하에서 PerfGD는 퍼포매티브 최적 점으로 증명 가능하게 수렴한다.
• 퍼포매티브 로지스틱 회귀에서 PerfGD는 반복 그래디언트 디센트(RGD)에 비해 퍼포매티브 손실을 약 9% 감소시킨다.
• 퍼포매티브 선형 회귀에서 PerfGD는 RGD 및 RRM에 비해 퍼포매티브 손실을 한 계단 이상 감소시킨다.
• RGD 및 RRM는 퍼포매티브 안정점으로 수렴하지만, 이는 최적에서 멀리 떨어져 있을 수 있다. 반면 PerfGD는 부드럽게 진정한 최적점으로 수렴한다.
• PerfGD의 향상된 그래디언트 추정은 조기 수렴 실패가 발생하는 RRM가 수렴하지 못하는 설정에서도 안정적인 수렴을 이끈다.
• 실험 결과는 퍼포매티브 안정점이 강한 또는 비선형적인 분포 이동이 있을 경우 최적 해의 신뢰할 수 있는 대체물이 되지 못함을 확인한다.