[論文レビュー] Causal Strategic Linear Regression

Yonadav Shavit, Benjamin Edelman+1 more|arXiv (Cornell University)|Feb 24, 2020

Machine Learning and Algorithms参考文献 33被引用数 5

ひとこと要約

本稿では、意思決定者がルールをテストし、エージェントの戦略的反応を観測することで最適な意思決定ルールを学ぶ、因果的戦略的線形回帰を導入する。ルールの変更を因果的介入とみなすことにより、予測精度の最適化、エージェントの結果最大化、真のパラメータ推定の3つを同時に最適化する効率的なアルゴリズムを開発した。これにより、エージェントの戦略的行動下でも、従来の難解性結果を克服できる。

ABSTRACT

In many predictive decision-making scenarios, such as credit scoring and academic testing, a decision-maker must construct a model that accounts for agents' propensity to "game" the decision rule by changing their features so as to receive better decisions. Whereas the strategic classification literature has previously assumed that agents' outcomes are not causally affected by their features (and thus that strategic agents' goal is deceiving the decision-maker), we join concurrent work in modeling agents' outcomes as a function of their changeable attributes. As our main contribution, we provide efficient algorithms for learning decision rules that optimize three distinct decision-maker objectives in a realizable linear setting: accurately predicting agents' post-gaming outcomes (prediction risk minimization), incentivizing agents to improve these outcomes (agent outcome maximization), and estimating the coefficients of the true underlying model (parameter estimation). Our algorithms circumvent a hardness result of Miller et al. (2020) by allowing the decision maker to test a sequence of decision rules and observe agents' responses, in effect performing causal interventions through the decision rules.

研究の動機と目的

• 戦略的に特徴量を変更するエージェントを考慮した意思決定ルールの設計に取り組むこと。
• ミラーら（2020）の難解性結果を、意思決定ルールの積極的テストによる因果的推論によって克服すること。
• 3つの異なる目的を最適化すること：予測リスクの最小化、エージェントの結果の最大化、真の因果パラメータの正確な推定。
• 観測されない特徴量が、特に戦略的行動下では深刻なバイアスを引き起こすことを示すこと。
• 戦略的反応を因果的介入として用いることで、モデル学習と意思決定の改善を図るアルゴリズムの開発。

提案手法

• 意思決定者は、異なる意思決定ルール ω を繰り返しテストし、エージェントの特徴量の変化と真の結果を観測する。各ルールを因果的介入とみなす。
• 予測リスクの最小化のため、後ゲームの結果における期待二乗誤差を最小化する ω を学ぶために、凸最適化フレームワークを用いる。
• エージェントの結果最大化のため、戦略的反応下での期待結果を最大にする ω を特定する。線形性のおかげで ω に関して容易に最適化可能。
• パラメータ推定のため、最初の特徴量共分散 Σ とアクション行列のグラミアン G=MM^T を推定した後、後ゲームの2次モーメント行列の最小固有値を最大にする ω を選択する。
• 最適な ω の下で得られたデータに対してOLSを適用することで、設計行列の最小固有値を増加させ、収束性を向上させる。
• 特徴量の完全可視性（V=I）と、エージェントがノルム二乗コストで線形に反応すると仮定することで、ω* の正確な推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 戦略的に特徴量を変更するエージェントがいる状況で、意思決定者がゲーム後の結果を正確に予測できる意思決定ルールを学習できるか？
• RQ2 意思決定者が、予測精度を維持しつつもエージェントの真の結果を最大化するルールを設計できるか？
• RQ3 観測されないが結果に影響を与える特徴量が、戦略的状況下でのモデル性能に与える影響は何か？
• RQ4 観測データの制限がある中でも、ルールの変更を介入とみなすことにより、戦略的状況下で因果的推論を達成できるか？
• RQ5 戦略的行動下で、真の因果モデルパラメータ ω* の一貫した推定が可能となる条件は何か？

主な発見

• 提案されたアルゴリズムは、因果的介入としての積極的ルールテストにより、ミラーら（2020）の難解性結果を回避できる。
• 予測リスクの最小化とエージェントの結果最大化の両目的が ω に関して凸であるため、標準的な凸最適化ソルバを用いた効率的最適化が可能。
• すべての特徴量が可視（V=I）であり、アクション行列が特徴空間全体を網羅可能である場合、ω* の推定は任意の精度で可能。
• 後ゲームの2次モーメント行列の最小固有値を最大にする ω を選択することで、OLSの収束速度が向上し、データに含まれる情報量が増加する。
• 観測されない結果に影響を与える特徴量を無視すると、変数の省略バイアスが生じ、ゲームの下で壊れる非因果的可視特徴量を報酬化するよう予測子が傾倒する。
• 特徴量が完全に可視であり、システムが同定可能である場合、ω* の推定には約 Õ(d) ラウンドが必要となる。