[论文解读] Outside the Echo Chamber: Optimizing the Performative Risk

John A. Miller, Juan C. Perdomo+1 more|arXiv (Cornell University)|Feb 17, 2021

Neural dynamics and brain function参考文献 42被引用 16

一句话总结

本文提出一个框架，直接优化在行为预测设定下的表现风险，其中模型会影响其预测的数据分布。通过识别表现风险变为凸函数的条件——特别是当行为效应相对于模型平滑性和强凸性有界时——该方法实现了高效的、无需梯度的优化，并在样本效率方面优于现有方法。

ABSTRACT

In performative prediction, predictions guide decision-making and hence can influence the distribution of future data. To date, work on performative prediction has focused on finding performatively stable models, which are the fixed points of repeated retraining. However, stable solutions can be far from optimal when evaluated in terms of the performative risk, the loss experienced by the decision maker when deploying a model. In this paper, we shift attention beyond performative stability and focus on optimizing the performative risk directly. We identify a natural set of properties of the loss function and model-induced distribution shift under which the performative risk is convex, a property which does not follow from convexity of the loss alone. Furthermore, we develop algorithms that leverage our structural assumptions to optimize the performative risk with better sample efficiency than generic methods for derivative-free convex optimization.

研究动机与目标

• 解决在预测影响数据分布的设定中，表现稳定性作为最优模型性能代理的局限性。
• 识别即使在强行为效应下，表现风险仍保持凸性的条件。
• 开发直接最小化表现风险而非收敛至稳定不动点的高效优化算法。
• 通过利用分布偏移和损失函数特性的结构假设，提升无导数优化中的样本效率。

提出的方法

• 将表现风险定义为模型诱导分布下的期望损失，$\mathrm{PR}(\theta) = \mathbb{E}_{z \sim \mathcal{D}(\theta)}[\ell(z; \theta)]$。
• 引入对分布映射$\mathcal{D}(\cdot)$的随机占优条件，以确保分布偏移行为良好。
• 建立凸性阈值：当$\varepsilon \leq \frac{\gamma}{2\beta}$时，表现风险为凸函数，其中$\varepsilon$为$\mathcal{D}(\cdot)$的Lipschitz常数，$\gamma$为损失在$\theta$上的强凸性参数，$\beta$为在$z$上的平滑性参数。
• 提出一种两阶段算法：首先估计数据分布的均值偏移，然后利用收集的数据求解代理优化问题。
• 将无导数优化（DFO）与贪婪/懒惰SGD方法适配至表现风险设定，采用定制化的超参数与采样策略。
• 通过50次试验的自助法置信区间，评估不同算法与样本规模下的次优性差距与表现风险。

实验结果

研究问题

• RQ1 在行为效应较强时，表现风险在何种条件下仍保持凸性？
• RQ2 我们能否比依赖行为稳定不动点更高效地优化表现风险？
• RQ3 行为效应的强度如何影响表现风险的凸性？
• RQ4 我们能否设计出能主动预测分布偏移而非仅收敛至稳定点的算法？
• RQ5 在结构假设下，将无导数优化方法应用于表现风险最小化时，其样本效率如何？

主要发现

• 当分布映射$\mathcal{D}(\cdot)$为$\varepsilon$-Lipschitz且满足随机占优条件，且$\varepsilon \leq \frac{\gamma}{2\beta}$时，表现风险为凸函数，其中$\gamma$与$\beta$分别为损失的强凸性与平滑性参数。
• 稳定模型相对于真实最优模型可能具有任意大的次优性差距，表明稳定性并非表现风险最小化的可靠代理。
• 两阶段算法在合成数据与策略分类实验中，均展现出优于通用DFO与SGD基线的样本效率。
• 在策略分类设定中，当$\varepsilon = 0.0001$（低于阈值）时，表现风险保持凸性，且各算法收敛至低次优性差距。
• 当$\varepsilon = 100$（高于阈值）时，表现风险变为非凸，所有算法均表现出更高的次优性差距，验证了理论凸性阈值。
• 贪婪与懒惰SGD变体在收敛速度与稳定性方面优于标准DFO，尤其在低样本场景下，因其对分布偏移的处理更优。