[논문 리뷰] Making Decisions Under Outcome Performativity

Michael P. Kim, Juan C. Perdomo|arXiv (Cornell University)|2022. 10. 04.

Data Visualization and Analytics인용 수 2

한 줄 요약

이 논문은 결과의 행동성(performativity) 하에서 의사결정을 위한 새로운 최적성 개념인 performative omniprediction을 소개한다. 여기서 예측은 예측하는 바와 동일한 결과에 영향을 미친다. 결과의 불가구분성(Outcome Indistinguishability, OI)을 행동성 설정으로 일반화함으로써, 저자들은 결과의 행동성 하에서 효율적인 performative omnipredictor가 존재함을 증명하며, 단일 예측기로 다양한 제약 조건이 있는 입력 무관 손실 함수들에 대해 동시에 최적의 의사결정을 지원할 수 있음을 보여준다.

ABSTRACT

Decision-makers often act in response to data-driven predictions, with the goal of achieving favorable outcomes. In such settings, predictions don't passively forecast the future; instead, predictions actively shape the distribution of outcomes they are meant to predict. This performative prediction setting raises new challenges for learning "optimal" decision rules. In particular, existing solution concepts do not address the apparent tension between the goals of forecasting outcomes accurately and steering individuals to achieve desirable outcomes. To contend with this concern, we introduce a new optimality concept -- performative omniprediction -- adapted from the supervised (non-performative) learning setting. A performative omnipredictor is a single predictor that simultaneously encodes the optimal decision rule with respect to many possibly-competing objectives. Our main result demonstrates that efficient performative omnipredictors exist, under a natural restriction of performative prediction, which we call outcome performativity. On a technical level, our results follow by carefully generalizing the notion of outcome indistinguishability to the outcome performative setting. From an appropriate notion of Performative OI, we recover many consequences known to hold in the supervised setting, such as omniprediction and universal adaptability.

연구 동기 및 목표

• 결과의 행동성 하에서 정확한 결과 예측과 개인들을 더 나은 결과로 이끄는 것 사이의 갈등을 해결한다.
• 기존의 행동성 예측 프레임워크가 학습 시점에 단일 손실 함수를 고정함으로써 후속 의사결정의 유연성을 제한하는 한계를 극복한다.
• 재학습 없이도 여러 목적, 특히 상충 관계에 있는 목표들에 대해 최적의 의사결정을 지원하는 통합된 예측 프레임워크를 개발한다.
• 결과의 불가구분성 및 다중정확성(multiaccuracy)과 같은 개념을 행동성 설정으로 확장하여 performative omniprediction의 이론적 기초를 마련한다.
• 특히 제약 조건이 있는 입력 무관 손실 함수에 대해, 손실 클래스의 복잡성과 무관하게 효율적인 학습 경로를 제공한다.

제안 방법

• 다양한 손실 함수들에 대해 최적의 의사결정 규칙을 모두 포함하는 단일 예측기로 작동하는 performative omniprediction의 개념을 도입한다.
• 결과의 불가구분성(OI) 개념을 행동성 설정으로 일반화하여, 입력 무관 손실 함수에 대해 행동성 의사결정 OI를 정의한다.
• 결과의 행동성 하에서 의사결정 校정(Decision Calibration)을 정의하고 활용하며, 행동 공간의 모든 행동에 대해 예측된 결과가 진짜 결과와 일치하도록 보장한다.
• 다중정확성과 행동성 하에서의 의사결정 校정이 동시에 성립할 경우, 오차가 유한한 performative omniprediction가 성립함을 증명한다.
• 의사결정 校정 조건을 위반할 경우, POI-Boost 방식의 업데이트를 활용해 효율적으로 예측기를 개선함으로써 반복적 개선을 가능하게 한다.
• 행동성 하에서의 예측기 구현을 위한 회로 복잡도 상한선을 설정하여, 가설 클래스 크기와 행동 공간에 대해 다항식 크기의 회로로 수행할 수 있음을 보여주며, 이는 손실 클래스의 복잡성과 무관하다.

실험 결과

연구 질문

• RQ1 결과의 행동성 하에서, 단일 예측기가 여러 상충 관계에 있는 목표에 대해 동시에 최적의 의사결정을 지원할 수 있는가?
• RQ2 각 목표에 대해 재학습이 필요 없이, 효율적으로 performative omniprediction를 달성할 수 있는 조건는 무엇인가?
• RQ3 다양한 의사결정 규칙에 대해 강건성을 확보하기 위해 결과의 불가구분성은 어떻게 행동성 설정으로 일반화할 수 있는가?
• RQ4 다양한 행동을 포함하는 행동 환경에서, 다수의 행동에 대해 온전한 예측을 보장하기 위해 필요한 校정 조건는 무엇인가?
• RQ5 의사결정 校정을 감시하는 데 필요한 계산 복잡도를 줄일 수 있으며, 이는 효율적인 omnipredictor 학습에 어떤 영향을 미치는가?

주요 결과

• 결과의 행동성 하에서 performative omniprediction는 실현 가능하며, 제약 조건이 있는 입력 무관 손실 함수들에 대해 단일 예측기가 모든 최적의 의사결정을 지원할 수 있다.
• 다중정확성과 ε-의사결정 校정이 행동성 하에서 동시에 성립할 경우, 예측기는 (Lio, H, 4ε)-performative omnipredictor가 된다.
• 예측기가 ε-의사결정 校정을 만족할 경우, (Lio, 2ε)-performative decision OI를 만족함으로써, 校정과 불가구분성 사이의 연결 고리를 확립한다.
• 교정 조건을 위반할 경우, POI-Boost 방식의 업데이트를 활용해 반복적으로 예측기를 개선할 수 있는 효율적인 업데이트 메커니즘이 존재한다.
• 크기가 s인 가설 클래스에 대해, (Lio, H, ε)-performative omnipredictor는 손실 클래스의 복잡성과 무관하게 크기가 poly(s, |bY|)/ε²인 회로로 구현 가능하다.
• 이 프레임워크는 각 손실 함수에 대해 재학습이 필요 없이 performative omnipredictor를 학습할 수 있게 하여, 손실별 최적화에 비해 확장 가능한 대안을 제공한다.