[論文レビュー] Strategic Recourse in Linear Classification.

Yatong Chen, Jialu Wang+1 more|arXiv (Cornell University)|Oct 31, 2020

Experimental Behavioral Economics Studies被引用数 9

ひとこと要約

本稿では、線形分類器のメカニズムを提案し、個人が特徴量を意味的に改善するよう戦略的にインcentivizeする仕組みを、2段階ゲームモデルを用いて実現する。高い精度を維持しながら、70–90%の個人に対して改善方向での救済を提供し、操作の不平等を低減する。

ABSTRACT

In algorithmic decision making, recourse refers to individuals' ability to systematically reverse an unfavorable decision made by an algorithm. Meanwhile, individuals subjected to a classification mechanism are incentivized to behave strategically in order to gain a system's approval. However, not all strategic behavior necessarily leads to adverse results: through appropriate mechanism design, strategic behavior can induce genuine improvement in an individual's qualifications. In this paper, we explore how to design a classifier that achieves high accuracy while providing recourse to strategic individuals so as to incentivize them to improve their features in non-manipulative ways. We capture these dynamics using a two-stage game: first, the mechanism designer publishes a classifier, with the goal of optimizing classification accuracy and providing recourse to incentivize individuals' improvement. Then, agents respond by potentially modifying their input features in order to obtain a favorable decision from the classifier, while trying to minimize the cost of making such modifications. Under this model, we provide analytical results characterizing the equilibrium strategies for both the mechanism designer and the agents. Our empirical results show the effectiveness of our mechanism in three real-world datasets: compared to a baseline classifier that only considers individuals' strategic behavior without explicitly incentivizing improvement, our algorithm can provide recourse to a much higher fraction of individuals in the direction of improvement while maintaining relatively high prediction accuracy. We also show that our algorithm can effectively mitigate disparities caused by differences in manipulation costs. Our results provide insights for designing a machine learning model that focuses not only on the static distribution as of now, but also tries to encourage future improvement.

研究の動機と目的

• 高い予測精度を維持しながら、戦略的個人が意味的な特徴量改善を通じて救済を得られる分類器を設計すること。
• メカニズム設計者と戦略的エージェントの相互作用を2段階ゲームとしてモデル化し、特徴量変更のインセンティブとコストを捉えること。
• 特定のデモグラフィックグループにおいて操作コストが不均等であることで生じる格差を軽減し、長期的改善とインセンティブを一致させること。
• 提案されたメカニズムが、基準分類器と比較して救済を提供する能力を実証的に検証すること。

提案手法

• 2段階ゲームを形式化する：まず分類器が公開され、次に個人が最小限のコストで望ましい結果を得るために特徴量を変更する。
• 個人の行動を、望ましい分類結果を達成する制約下でのコスト最小化問題としてモデル化する。
• 線形分類の下でゲーム理論的分析を用いて、メカニズム設計者とエージェントの両方の均衡戦略を導出する。
• 分類器の最適化に救済を促進する目的関数を統合し、真正の改善を反映する特徴量変更を優遇する。
• 改善インセンティブを無視する基準と比較して、3つの実世界データセットを用いてメカニズムを実証的に評価する。
• 解析的および実証的検証を用いて、異なるコスト構造下での救済率、精度、公平性を比較する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして分類器を設計すれば、救済を提供しながら、個人が特徴量を操作するのではなく意味的な改善を促せるか？
• RQ2 分類器設計者と戦略的個人の間で生じる2段階ゲームにおいて、どのような均衡戦略が生じるか？
• RQ3 提案されたメカニズムは、個人間の操作コストの差異によって生じる格差をどの程度軽減できるか？
• RQ4 実世界のデータにおいて、提案されたメカニズムは基準分類器と比較して、精度と救済提供の両面でどのように異なるか？

主な発見

• 提案されたメカニズムは、基準と比較して、70–90%の個人に対して真正の特徴量改善方向での救済を提供し、顕著に高い割合を占める。
• メカニズムは高い予測精度を維持しており、標準分類器と比較して最小限の精度低下にとどまる。
• 操作コストの不均等性によって生じる格差を効果的に軽減し、特に特定のデモグラフィックグループでコストが高い場合に顕著である。
• 3つの実世界データセットにおける実証的結果から、メカニズムが救済提供および公平性の両面で基準を上回ることが確認された。
• 解析的結果により、エージェントと設計者の両方の均衡行動が特定され、戦略的インセンティブが長期的改善と一致させられることを示した。
• 設計意図通り、メカニズムは個人の行動を操作から意味的な自己改善へと効果的にシフトさせた。