[論文レビュー] Causal Feature Discovery through Strategic Modification.

Yahav Bechavod, Katrina Ligett+2 more|arXiv (Cornell University)|Feb 17, 2020

Machine Learning and Algorithms参考文献 17被引用数 18

ひとこと要約

本稿では、オンライン回帰における戦略的学習フレームワークを提案する。エージェントは自身の特徴量を変更することでスコアを向上させようとするが、単純な周期的最小二乗回帰による更新により、予測スコアと真のラベルの両方を向上させる因果的影響を持つ特徴量（因果的影響を持つ特徴量）を学習者が特定できることを示している。同時に、意味のある特徴量に投資するようエージェントをインcentivizeする仕組みも提供する。

ABSTRACT

We consider an online regression setting in which individuals adapt to the regression model: arriving individuals may access the model throughout the process, and invest strategically in modifying their own features so as to improve their assigned score. We find that this strategic manipulation may help a learner recover the causal variables, in settings where an agent can invest in improving impactful features that also improve his true label. We show that even simple behavior on the learner's part (i.e., periodically updating her model based on the observed data so far, via least-square regression) allows her to simultaneously i) accurately recover which features have an impact on an agent's true label, provided they have been invested in significantly, and ii) incentivize agents to invest in these impactful features, rather than in features that have no effect on their true label.

研究の動機と目的

• エージェントが割り当てられたスコアを向上させるために特徴量を戦略的に変更する状況下で、オンライン回帰において因果的関連のある特徴量を同定する課題に対処すること。
• 動的学習環境において、戦略的エージェント行動を活用することで因果的特徴量同定を改善できるかどうかを調査すること。
• 真の因果的特徴量を同時に回復させるとともに、エージェントが真のラベルを向上させる特徴量に投資するようインcentivizeする学習アルゴリズムを設計すること。
• 単純なモデル更新（例：最小二乗法）が、戦略的エージェント行動の下でも正確な因果的同定をもたらす条件を分析すること。

提案手法

• 学習者は、観測データを用いて定期的に更新されるオンライン回帰モデルを維持する。更新には通常最小二乗法回帰が用いられる。
• エージェントは逐次的に到着し、現在のモデルを観測する。その後、割り当てられたスコアを最大化するために特徴量を戦略的に変更する。
• エージェントは、予測スコアと真のラベルの両方を向上させる特徴量にのみ投資すると仮定する。これにより、インセンティブが因果的影響と一致する。
• 学習者のモデル更新プロセスは単純かつ適応的であり、過去のデータと最小二乗推定にのみ依存する。
• 因果的影響を持つ特徴量は、現在のモデル下で予測スコアを向上させるものであると仮定する。
• 理論的分析により、これらの条件下で学習者のモデルが真のラベルに真正な因果的効果を持つ特徴量に収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 オンライン回帰における戦略的エージェント行動を活用することで、因果的特徴量同定を改善できるか？
• RQ2 周期的最小二乗法によるモデル更新が、因果的影響を持つ特徴量を正確に同定する条件は何か？
• RQ3 学習プロセスは、真のラベルに影響を与える特徴量に投資するようエージェントをインcentivizeするか？
• RQ4 エージェントのインセンティブとモデル更新の相互作用が、正しい因果的特徴量への収束にどのように影響するか？

主な発見

• エージェントが因果的影響を持つ特徴量に顕著に投資する限り、学習者は真のラベルに因果的影響を持つ特徴量を正確に同定できる。
• 単純な周期的最小二乗更新でも、エージェントが予測スコアと真のラベルの両方を向上させる特徴量に戦略的に投資する限り、学習者は正しい因果的特徴量の集合を回復する。
• 学習プロセスは、真のラベルに影響を与えないがモデルの予測にのみ寄与する特徴量に投資するのではなく、真正の因果的効果を持つ特徴量に注力するようインセンティブを提供する。
• フレームワークは、エージェントの投資が真のラベルに影響を与える特徴量と一致する限り、モデルが元の因果構造と整合性を保つことを保証する。