[论文解读] Causal Strategic Linear Regression

Yonadav Shavit, Benjamin Edelman+1 more|arXiv (Cornell University)|Feb 24, 2020

Machine Learning and Algorithms参考文献 33被引用 5

一句话总结

本文提出因果策略线性回归，其中决策者通过测试规则并观察代理人的策略性响应来学习最优决策规则。通过将规则变更视为因果干预，作者开发了高效算法，同时优化预测准确性、代理结果最大化和真实参数估计——通过与代理的主动实验克服了先前的困难结果。

ABSTRACT

In many predictive decision-making scenarios, such as credit scoring and academic testing, a decision-maker must construct a model that accounts for agents' propensity to "game" the decision rule by changing their features so as to receive better decisions. Whereas the strategic classification literature has previously assumed that agents' outcomes are not causally affected by their features (and thus that strategic agents' goal is deceiving the decision-maker), we join concurrent work in modeling agents' outcomes as a function of their changeable attributes. As our main contribution, we provide efficient algorithms for learning decision rules that optimize three distinct decision-maker objectives in a realizable linear setting: accurately predicting agents' post-gaming outcomes (prediction risk minimization), incentivizing agents to improve these outcomes (agent outcome maximization), and estimating the coefficients of the true underlying model (parameter estimation). Our algorithms circumvent a hardness result of Miller et al. (2020) by allowing the decision maker to test a sequence of decision rules and observe agents' responses, in effect performing causal interventions through the decision rules.

研究动机与目标

• 为解决设计决策规则的挑战，这些规则需考虑代理人为改善结果而策略性地改变其特征的情况。
• 通过在决策规则上主动测试以实现因果推断，克服 Miller 等人（2020）的困难结果。
• 优化三个独立目标：最小化预测风险、最大化代理结果，以及准确估计真实因果参数。
• 表明未观测到的特征在策略行为下会导致严重偏差，尤其在标准回归中。
• 开发利用策略响应作为因果干预的算法，以改善模型学习与决策制定。

提出的方法

• 决策者迭代测试不同的决策规则 ω，并观察代理的特征变化与真实结果，将每次规则视为因果干预。
• 对于预测风险最小化，该方法使用凸优化框架，学习使后博弈结果的期望平方误差最小的 ω。
• 对于代理结果最大化，该算法寻找在策略响应下使期望结果最大的 ω，利用 ω 中的线性关系。
• 对于参数估计，该方法首先估计初始特征协方差 Σ 和动作矩阵格拉米安 G=MM^T，然后选择 ω 以最大化后博弈二阶矩矩阵的最小特征值。
• 该算法在最优 ω 下对数据使用 OLS，通过增加设计矩阵的最小特征值来提升收敛性。
• 该方法假设特征完全可见（V=I），且代理以范数平方成本线性响应，从而实现 ω* 的精确估计。

实验结果

研究问题

• RQ1 当代理策略性地改变其特征时，决策者能否学习到能准确预测后博弈结果的决策规则？
• RQ2 决策者如何设计规则，以在保持预测准确性的同时最大化代理的真实结果？
• RQ3 在策略环境中，未观测到的、影响结果的特征对模型性能有何影响？
• RQ4 尽管存在观测数据限制，能否通过将规则变更视为干预，在策略环境中实现因果推断？
• RQ5 在策略行为下，何种条件可实现对真实因果模型参数 ω* 的一致估计？

主要发现

• 所提出的算法通过将主动规则测试作为因果干预，绕过了 Miller 等人（2020）的困难结果，从而学习因果结构。
• 预测风险最小化与代理结果最大化目标在 ω 上均为凸函数，可通过标准凸求解器高效优化。
• 当所有特征均可观测（V=I）且动作矩阵允许对完整特征空间进行探索时，ω* 的参数估计可达到任意精度。
• 通过选择 ω 以最大化后博弈二阶矩矩阵的最小特征值，OLS 的收敛速度得以提升，从而增加数据中的信息量。
• 忽略未观测到的影响结果的特征会导致遗漏变量偏差，导致预测器奖励非因果的可见特征，这些特征在博弈中会失效。
• 当特征完全可见且系统可识别时，该方法大约需要 Õ(d) 轮来估计 ω*。