[論文レビュー] The Role of Randomness and Noise in Strategic Classification

Mark Braverman, Sumegha Garg|arXiv (Cornell University)|May 17, 2020

Auction Theory and Applications参考文献 18被引用数 7

ひとこと要約

この論文は、戦略的分類設定（個々の人が望ましい結果を得るために特徴量を操作する状況）において、確率的分類器とノイズのある特徴信号が、正確性と公平性の両方を向上させられることを示している。ノイズやランダムネスを導入することで、分類器がランダム化されなくても、戦略的操作のコストを低減し、結果を安定化させることで、決定的分類器よりも優れた均衡に到達できることを示している。

ABSTRACT

We investigate the problem of designing optimal classifiers in the strategic classification setting, where the classification is part of a game in which players can modify their features to attain a favorable classification outcome (while incurring some cost). Previously, the problem has been considered from a learning-theoretic perspective and from the algorithmic fairness perspective. Our main contributions include 1. Showing that if the objective is to maximize the efficiency of the classification process (defined as the accuracy of the outcome minus the sunk cost of the qualified players manipulating their features to gain a better outcome), then using randomized classifiers (that is, ones where the probability of a given feature vector to be accepted by the classifier is strictly between 0 and 1) is necessary. 2. Showing that in many natural cases, the imposed optimal solution (in terms of efficiency) has the structure where players never change their feature vectors (the randomized classifier is structured in a way, such that the gain in the probability of being classified as a 1 does not justify the expense of changing one's features). 3. Observing that the randomized classification is not a stable best-response from the classifier's viewpoint, and that the classifier doesn't benefit from randomized classifiers without creating instability in the system. 4. Showing that in some cases, a noisier signal leads to better equilibria outcomes -- improving both accuracy and fairness when more than one subpopulation with different feature adjustment costs are involved. This is interesting from a policy perspective, since it is hard to force institutions to stick to a particular randomized classification strategy (especially in a context of a market with multiple classifiers), but it is possible to alter the information environment to make the feature signals inherently noisier.

研究の動機と目的

• 戦略的分類設定（個々の人が望ましい結果を得るために特徴量を操作する状況）における、ランダムネスとノイズが分類器の効率に与える影響を調査すること。
• スタックルバーグゲーム設定において、確率的分類器が決定的分類器よりも高い効率（正確性－操作コストの合計）を達成できるかどうかを分析すること。
• 分類器の視点から見た確率的分類器の安定性を検討し、実用的な実装可能性を評価すること。
• ノイズのある信号が、複数のサブポピュレーション設定において、公平性と正確性を向上させるコミットメントデバイスとして機能する仕組みを調査すること。

提案手法

• 各特徴ベクトルに[0,1]の確率を割り当てる確率的分類器のスタックルバーグ均衡を形式化する。
• 効率を、分類の正確性から、資格を得た個々の人が負担する操作コストの合計を差し引いたものとして定義する。
• しきい値ベースの分類器を用い、特徴の操作コストを資格しきい値からの距離関数としてモデル化する。
• ガウスノイズ（平均0、標準偏差σ）で特徴が損なわれるノイズのある信号モデルを導入し、プライベート信号がノイズのない状況と結果を比較する。
• 操作コストが異なり、資格が同一のサブポピュレーションを用いて、公平性と正確性の影響を分離して分析する。
• 数学的最適化を用いて、ノイズのない状況とノイズのある状況における利得（正確性）を比較し、ノイズが結果を改善できることを証明する。

実験結果

リサーチクエスチョン

• RQ1 戦略的分類において、確率的分類器は決定的分類器よりも高い効率を達成できるか？
• RQ2 特徴にノイズを追加することで、ノイズのない信号よりも分類の正確性と公平性が向上する状況は存在するか？
• RQ3 正確な信号が利用可能であっても、なぜ分類器が正確な信号よりもノイズのある信号を好むことがあるのか？
• RQ4 分類器の視点から見た場合、確率的分類器が不安定になる条件は何か？ そして、実世界への展開に与える影響は？
• RQ5 特徴のノイズが、戦略的分類において、全体的なシステム効率を向上させるためのコミットメントデバイスとして機能できるか？

主な発見

• サブポピュレーションが同一の資格を持つ場合であっても、標準偏差σのガウスノイズを伴うノイズのある特徴信号が、ノイズのないプライベート信号よりも厳密に高い分類正確性を達成する状況が存在する。
• ノイズのある特徴下での最適分類器は、ノイズのない特徴下での最適分類器よりも高い利得（U(fσ*))を達成でき、具体的な例ではσB = σかつσA = 0.1σのときこの改善が示される。
• サブポピュレーションのサイズが不均等で、操作コストが異なる状況では、ノイズのある特徴が、公平性と正確性の両方を向上させることができ、ノイズのない状況ですでに公平であっても同様に有効である。
• 決定的分類器を上回る性能を発揮する確率的分類器は、しばしば分類器の視点から不安定であり、複数の分類器が存在する市場では実装が不実用的である。
• 特徴のノイズは、強制的なランダムネスを要件としない実用的代替手段となり、分類器が確率的戦略をコミットする必要なく、システム効率を向上させられる。
• 特徴のノイズは、特にサブポピュレーションが異なるコストで特徴を操作できる場合に、操作の誘因を低減させることで、より良い均衡に到達する要因となる。