[論文レビュー] Strategic Instrumental Variable Regression: Recovering Causal Relationships From Strategic Responses

Keegan Harris, Dung Daniel T. Ngo+3 more|arXiv (Cornell University)|Jul 12, 2021

Experimental Behavioral Economics Studies参考文献 40被引用数 5

ひとこと要約

本論文は、モデル更新に対する戦略的反応を道具変数として活用することで、機械学習における因果関係を回復する新規手法を提案する。展開されたモデルを、観察可能な特徴量に影響を与えるが、直接的に結果に影響しない道具変数として扱うことで、観察されない交絡要因が存在する状況下でも因果推論が可能となり、意思決定システムにおける公平性、結果、予測リスクの向上が図られる。

ABSTRACT

In settings where Machine Learning (ML) algorithms automate or inform consequential decisions about people, individual decision subjects are often incentivized to strategically modify their observable attributes to receive more favorable predictions. As a result, the distribution the assessment rule is trained on may differ from the one it operates on in deployment. While such distribution shifts, in general, can hinder accurate predictions, our work identifies a unique opportunity associated with shifts due to strategic responses: We show that we can use strategic responses effectively to recover causal relationships between the observable features and outcomes we wish to predict, even under the presence of unobserved confounding variables. Specifically, our work establishes a novel connection between strategic responses to ML models and instrumental variable (IV) regression by observing that the sequence of deployed models can be viewed as an instrument that affects agents' observable features but does not directly influence their outcomes. We show that our causal recovery method can be utilized to improve decision-making across several important criteria: individual fairness, agent outcomes, and predictive risk. In particular, we show that if decision subjects differ in their ability to modify non-causal attributes, any decision rule deviating from the causal coefficients can lead to (potentially unbounded) individual-level unfairness.

研究の動機と目的

• 予測モデルに対して個人が観察可能な特徴量を戦略的に変更する状況下で、機械学習における因果推論の課題に対処すること。
• 高リスク意思決定システムにおいて、特徴量と結果の因果関係を歪める観察されない交絡要因を是正すること。
• 展開されたモデルの順序を有効な道具変数として活用し、真の因果係数を回復する手法を開発すること。
• 意思決定ルールを因果関係に一致させることで、個人の公平性、エージェントの結果、予測リスクを向上させること。
• 戦略的反応の能力がグループ間で異なる場合、因果係数から逸脱すると、個人レベルの不公平が無限大にまで拡大する可能性があることを示すこと。

提案手法

• 戦略的反応を、展開された評価ルールの系列の関数としてモデル化し、これらのルールを道具変数として扱う。
• モデルの系列がエージェントの観察可能な特徴量に影響を与えるが、直接的に結果に影響しないと仮定することで、道具変数回帰の除外制約を満たす。
• 2段階最小二乗法（2SLS）回帰を用いて因果係数を回復し、モデルの系列を道具変数、観察可能な特徴量を内生的回帰変数とする。
• 特徴量と結果の両方に影響を与える潜在変数として観察されない交絡要因をモデル化し、道具変数がこれらの交絡要因と独立であることを保証する。
• スタイリゼッドな大学入学選抜設定でフレームワークを検証し、クレジットスコアリングと事故リスク予測へと拡張し、分野を越えての頑健性を示した。
• 理論的分析により、非因果的意思決定ルールを用いることで、戦略的反応能力に差があるグループ間で、無限大にまで拡大する不公平が生じる可能性があることが確認された。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルに対する戦略的反応を活用して、観察可能な特徴量と結果の間の因果関係を回復できるか？
• RQ2 観察されない交絡要因が存在する状況下で、展開されたモデルの系列が有効な道具変数として機能する条件は何か？
• RQ3 戦略的反応を用いた因果回復は、意思決定システムにおける公平性、エージェントの結果、予測リスクをどのように改善するか？
• RQ4 個人が非因果的特徴量を変更する能力に差がある場合、非因果的意思決定ルールを使用するとどのような結果が生じるか？
• RQ5 この手法は、大学入学選抜やクレジットスコアリングといった実世界の応用に一般化可能か？

主な発見

• 展開されたモデルの系列は有効な道具変数として機能し、観察されない交絡要因が特徴量と結果の両方に影響を与える状況下でも因果関係の回復が可能である。
• 非因果的意思決定ルールを用いることで、エージェントの戦略的反応能力に差がある場合、個人レベルの不公平が無限大にまで拡大する可能性がある。
• 提案手法は、誤った相関関係ではなく真の因果関係に一致する意思決定ルールを採用することで、個人の公平性を向上させる。
• 1次元のシミュレーションでは、交絡と戦略的操作が混在するデータで学習したモデルでさえも、真の因果係数 θ* = 1 を効果的に回復した。
• 戦略的行動に起因する分布シフトに対して、標準的な予測モデルよりも本手法が頑健性を維持している。
• 理論的分析により、モデル更新における勾配が特徴量とモデルの内生的依存関係を考慮しない場合、誤った最適化方向をとる可能性があることが示された。