[论文解读] How to Learn when Data Reacts to Your Model: Performative Gradient Descent

Zachary Izzo, Lexing Ying+1 more|arXiv (Cornell University)|Feb 15, 2021

Reinforcement Learning in Robotics参考文献 25被引用 11

一句话总结

本文提出了一种新型算法——行为梯度下降（PerfGD），该算法通过显式建模模型参数变化如何影响数据分布，从而保证收敛至行为最优模型。与以往方法仅收敛至次优的行为稳定点不同，PerfGD 在参数假设下计算出更精确的梯度估计，在实验中显著降低了行为损失——在回归任务中最高可降低至原来的十分之一。

ABSTRACT

Performative distribution shift captures the setting where the choice of which ML model is deployed changes the data distribution. For example, a bank which uses the number of open credit lines to determine a customer's risk of default on a loan may induce customers to open more credit lines in order to improve their chances of being approved. Because of the interactions between the model and data distribution, finding the optimal model parameters is challenging. Works in this area have focused on finding stable points, which can be far from optimal. Here we introduce performative gradient descent (PerfGD), which is the first algorithm which provably converges to the performatively optimal point. PerfGD explicitly captures how changes in the model affects the data distribution and is simple to use. We support our findings with theory and experiments.

研究动机与目标

• 解决现有方法仅收敛至行为稳定点而非真正行为最优点的局限性。
• 应对模型部署引发的分布偏移挑战，即个体或系统会根据模型预测调整自身行为。
• 开发一种实用且理论基础扎实的优化算法，直接针对行为损失（即在行为效应下模型训练的真实目标）进行优化。
• 在关于数据生成过程的合理假设下，提供收敛性和梯度估计准确性的理论保证。
• 通过实证结果证明，PerfGD 在分类与回归设置下均优于现有基线方法（如重复梯度下降 RGD 和重复风险最小化 RRM）。

提出的方法

• 将行为损失形式化为部署模型在自身诱导的数据分布上的期望损失，该损失依赖于模型参数。
• 通过从模型参数到诱导数据分布的可微映射建模分布偏移，推导出校正后的梯度估计。
• 采用分布偏移的参数化近似（例如线性或二次依赖关系），以估计分布映射相对于模型参数的导数。
• 使用有限差分或解析导数方法，估计数据分布对模型参数变化的敏感性。
• 将校正后的梯度集成到标准梯度下降框架中，形成 PerfGD，该算法通过使用行为梯度迭代更新模型参数。
• 通过假设损失函数和分布映射的光滑性与有界性，确保理论收敛性，并证明在这些条件下 PerfGD 可收敛至行为最优点。

实验结果

研究问题

• RQ1 我们能否设计一种优化算法，使其收敛至行为最优点而非仅行为稳定点？
• RQ2 当数据分布依赖于模型参数时，如何准确估计行为梯度？
• RQ3 在关于分布偏移的合理假设下，能否为收敛至最优解提供理论保证？
• RQ4 在行为损失和收敛行为方面，PerfGD 与现有方法（如 RGD 和 RRM）相比表现如何？
• RQ5 在何种场景下，行为稳定点与行为最优点存在显著偏差？PerfGD 是否能有效弥合这一差距？

主要发现

• 在损失函数和分布映射的光滑性与有界性假设下，PerfGD 可证明收敛至行为最优点。
• 在行为逻辑回归任务中，与重复梯度下降（RGD）相比，PerfGD 将行为损失降低了约 9%。
• 在行为线性回归任务中，与 RGD 和 RRM 相比，PerfGD 实现了行为损失降低一个数量级以上。
• 尽管 RGD 和 RRM 收敛至行为稳定点（可能远离最优），PerfGD 却能平稳收敛至真实最优解。
• PerfGD 中改进的梯度估计可实现稳定收敛，且无振荡现象，即使在 RRM 无法收敛的场景下亦成立。
• 实证结果证实，行为稳定点并非最优解的可靠代理，尤其当分布偏移较强或呈非线性时更为明显。