[論文レビュー] Strategic Classification with a Light Touch: Learning Classifiers that Incentivize Constructive Adaptation

Yatong Chen, Jialu Wang+1 more|arXiv (Cornell University)|Oct 31, 2020

Reinforcement Learning in Robotics参考文献 17被引用数 7

ひとこと要約

本稿では、予測と適応を二段階ゲームとして定式化することで、個人が特徴量を建設的に変化させるようインcentivizeする分類器を学習するためのゲーム理論的フレームワークを提案する。実験的に、モデルの誤指定下でもモデルの性能と一般化性能が向上することを示している。

ABSTRACT

Machine learning systems are often deployed in settings where individuals are able to adapt their features to obtain a specific predicted outcome. This kind of strategic behavior leads to a sharp loss in model performance in deployment. In this work, we aim to address this problem by learning classifiers that incentivize their decision subjects to change their features in a way that benefits all parties. We frame the dynamics of prediction and adaptation as a two-stage game and characterize equilibrium strategies for the model owner and its decision subjects. We benchmark our method on simulated and real-world datasets to demonstrate how it can be used to incentivize improvement or discourage adversarial manipulation. Our empirical results show that our method outperforms existing approaches, even when our assumptions may be misspecified.

研究の動機と目的

• 機械学習システムにおいて、個人が予測に影響を与えるために特徴量を操作する行動によって引き起こされるモデル性能の低下を是正すること。
• 個人のインセンティブを、有益な特徴量の変化と一致させることで、個人およびシステム全体のパフォーマンスを向上させる分類器を設計すること。
• モデル所有者と意思決定対象者との間の相互作用を二段階ゲームとしてモデル化し、両者の均衡戦略を同定すること。
• シミュレートおよび実世界のデータセット上で手法を評価し、モデルの誤指定に対して頑健であり、従来手法を上回ることを示すこと。

提案手法

• 戦略的分類問題を二段階ゲームとして定式化する：まずモデル所有者が分類器を設計し、次に個人が予測結果を改善するために特徴量を戦略的に変化させる。
• 個人の適応を、変化に伴うコスト関数によって不利益な変化をペナルティ化する条件下で、利得最大化問題としてモデル化する。
• ゲーム理論的分析を用いて、モデル所有者および意思決定対象者の両方の均衡戦略を導出する。これにより、分類器が建設的な適応をインセンティブ化することが保証される。
• 個人の予測均衡行動を組み込んだ微分可能目的関数を用いて分類器を学習し、エンド・ツー・エンドの訓練を可能にする。
• 小さな有益な変化を過剰にペナルティ化するのを避け、すべての関係者に利益をもたらす改善を促進する、軽いタッチのアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 分類器は、個人が自分自身およびモデルにとって有益な方法で特徴量を改善するようインセンティブを提供するようにどのように設計できるか？
• RQ2 モデル所有者と戦略的意志決定対象者との間の二段階ゲームで、どのような均衡戦略が生じるか？
• RQ3 個人の行動に関する仮定が誤っている場合でも、分類器は戦略的適応下で性能を維持できるか？
• RQ4 提案手法は、従来手法と比較して、モデルの精度および操作に対する頑健性においてどのように優れているか？

主な発見

• 提案手法は、個人行動に関する前提が誤っている場合でも、戦略的適応下でのモデル性能の維持において、従来手法を上回ることを示した。
• 分類器は、個人が特徴量に対して建設的な変更を行うよううまくインセンティブ化しており、全体のシステムパフォーマンスが向上した。
• シミュレーションおよび実世界のデータセットにおける実験結果から、本手法は一般化性能に優れ、デプロイメント時においても高い予測精度を維持することがわかった。
• ゲーム理論的均衡分析により、個人のインセンティブを集団的利益と一致させる分類器の設計が可能となり、敵対的な操作が低減された。