[论文解读] Making Decisions Under Outcome Performativity

Michael P. Kim, Juan C. Perdomo|arXiv (Cornell University)|Oct 4, 2022

Data Visualization and Analytics被引用 2

一句话总结

本文提出了行为性全能预测（performative omniprediction）——一种在结果可塑性情境下决策的新型最优性概念，其中预测本身会影响其预测的结果。通过将结果不可区分性（outcome indistinguishability）推广至行为性设置，作者证明了在结果可塑性条件下，高效的行为性全能预测器是存在的，使得单一预测器能够同时支持多种、有界且输入无关的损失函数下的最优决策。

ABSTRACT

Decision-makers often act in response to data-driven predictions, with the goal of achieving favorable outcomes. In such settings, predictions don't passively forecast the future; instead, predictions actively shape the distribution of outcomes they are meant to predict. This performative prediction setting raises new challenges for learning "optimal" decision rules. In particular, existing solution concepts do not address the apparent tension between the goals of forecasting outcomes accurately and steering individuals to achieve desirable outcomes. To contend with this concern, we introduce a new optimality concept -- performative omniprediction -- adapted from the supervised (non-performative) learning setting. A performative omnipredictor is a single predictor that simultaneously encodes the optimal decision rule with respect to many possibly-competing objectives. Our main result demonstrates that efficient performative omnipredictors exist, under a natural restriction of performative prediction, which we call outcome performativity. On a technical level, our results follow by carefully generalizing the notion of outcome indistinguishability to the outcome performative setting. From an appropriate notion of Performative OI, we recover many consequences known to hold in the supervised setting, such as omniprediction and universal adaptability.

研究动机与目标

• 解决在行为性预测设置中准确预测结果与引导个体实现更好结果之间的张力。
• 克服现有行为性预测框架在训练时固定单一损失函数的局限性，从而限制下游决策的灵活性。
• 开发一个统一的预测框架，支持在不重新训练的情况下实现多种可能相互竞争的目标的最优决策。
• 通过将结果不可区分性和多精度（multiaccuracy）等概念扩展至行为性设置，为行为性全能预测建立理论基础。
• 提供一种计算高效的路径，以学习独立于损失类复杂度的全能预测器，尤其适用于有界输入无关损失。

提出的方法

• 引入行为性全能预测的概念，即单一预测器在多个损失函数中编码最优决策规则。
• 将结果不可区分性（OI）的概念推广至行为性设置，为输入无关损失定义行为性决策不可区分性。
• 定义并利用在结果可塑性下的决策校准，确保预测结果在动作空间的所有动作中均与真实结果一致。
• 证明在结果可塑性下，多精度与决策校准联合意味着预测器为有界误差的（Lio, H, 4ε）行为性全能预测器。
• 利用POI-Boost风格的更新机制，当决策校准被违反时高效地优化预测器，实现迭代改进。
• 建立电路复杂度界，表明行为性全能预测器可由大小为关于假设类大小和动作空间的多项式大小的电路实现，且独立于损失类的复杂度。

实验结果

研究问题

• RQ1 在行为性预测设置中，能否通过单一预测器同时支持多个相互竞争目标的最优决策？
• RQ2 在何种条件下可高效实现行为性全能预测，而无需为每个目标重新训练？
• RQ3 如何将结果不可区分性推广至行为性设置，以确保在多样化决策规则下的鲁棒性？
• RQ4 在具有多个动作的行为性环境中，何种校准条件足以保证全能预测？
• RQ5 能否降低决策校准审计的计算复杂度，其对高效全能预测器学习有何影响？

主要发现

• 在结果可塑性条件下，行为性全能预测是可实现的，使得单一预测器能够支持所有有界输入无关损失下的最优决策。
• 在结果可塑性下，多精度与ε-决策校准联合意味着预测器是（Lio, H, 4ε）-行为性全能预测器。
• 若预测器为ε-决策校准，则其满足（Lio, 2ε）-行为性决策不可区分性，建立了校准与不可区分性之间的联系。
• 存在一种高效的更新机制，用于违反校准约束的情况，允许通过POI-Boost风格更新迭代优化预测器。
• 对于大小为s的假设类，（Lio, H, ε）-行为性全能预测器可由大小为poly(s, |bY|)/ε²的电路实现，且独立于损失类的复杂度。
• 该框架使得无需为每个损失重新训练即可学习行为性全能预测器，为损失特定优化提供了一种可扩展的替代方案。