[論文レビュー] On the Adversarial Robustness of Causal Algorithmic Recourse

Ricardo Dominguez-Olmedo, Amir-Hossein Karimi+1 more|arXiv (Cornell University)|Dec 21, 2021

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿は、因果的アルゴリズム的レコメンデーションにおける敵対的ロバストネスを定式化し、最小コストのレコメンデーションが小さな特徴の不確実性に対して脆いことを示している。線形および微分可能な分類器におけるロバストなレコメンデーションを生成する手法を提案し、局所的線形性と実行可能性を高める正則化項を導入することで、コストを最小限に抑えつつ、ロバストなレコメンデーションの実現可能性を著しく向上させた。

ABSTRACT

Algorithmic recourse seeks to provide actionable recommendations for individuals to overcome unfavorable classification outcomes from automated decision-making systems. Recourse recommendations should ideally be robust to reasonably small uncertainty in the features of the individual seeking recourse. In this work, we formulate the adversarially robust recourse problem and show that recourse methods that offer minimally costly recourse fail to be robust. We then present methods for generating adversarially robust recourse for linear and for differentiable classifiers. Finally, we show that regularizing the decision-making classifier to behave locally linearly and to rely more strongly on actionable features facilitates the existence of adversarially robust recourse.

研究の動機と目的

• アルゴリズム的意思決定における小さな特徴の不確実性下での最小コストのレコメンデーションの脆さを解消すること。
• 信頼できる契約的レコメンデーションの約束としての敵対的ロバストなレコメンデーションを形式化すること。
• 入力の特徴の摂動が許容される不確実性集合内でのすべての摂動に対して有効なレコメンデーションを生成する手法を開発すること。
• 敵対的ロバストなレコメンデーションの存在を可能にするモデルの正則化項を同定および検証すること。

提案手法

• 個人の報告された特徴の周囲に位置する不確実性集合 $ B(x) $ に対して、レコメンデーションにおける敵対的ロバストネスをロバスト最適化問題として定式化する。
• 線形および微分可能な分類器におけるロバストなレコメンデーションの生成のための二段階最適化法を提案し、特徴の摂動に関するミニマックス問題を解く。
• 実行可能な特徴に依存するよう促進し、非線形行動をペナルティ化する、行動可能で局所的線形な正則化（ALLR）を導入する。
• 摂動に基づく内部最大化を用いて最悪の特徴シフトをシミュレートし、すべてのシフトに対してレコメンデーションの有効性を保証する。
• 5つのテーブルデータセットを用いて線形分類器およびニューラルネットワーク分類器にこの手法を適用し、ロバストネスとコストを評価する。
• ALLRの有効性を、ERM、行動のみの訓練、および先行の正則化項と比較するアブレーションスタディを通じて検証する。

実験結果

リサーチクエスチョン

• RQ1 最小コストのレコメンデーションは、任意に小さな特徴の不確実性に対してロバストであるか。そうでない場合、なぜ失敗するのか？
• RQ2 有界な不確実性集合内でのすべての妥当な特徴摂動に対して有効なまま保たれるレコメンデーションを生成できるか？
• RQ3 意思決定分類器におけるどのような構造的およびインダクティブバイアスが、敵対的ロバストなレコメンデーションの存在を可能にするか？
• RQ4 分類器を局所的線形性と実行可能性に焦点を当てて正則化することで、ロバストなレコメンデーションの実現可能性とコストにどのような影響を与えるか？

主な発見

• 最小コストのレコメンデーションは、任意に小さな特徴の不確実性に対して、証明可能に脆く、レコメンデーションを契約的約束として信頼できなくなる。
• 提案されたロバストなレコメンデーション生成手法は、入力の $ \epsilon $-ボール内でのすべての摂動に対して有効なレコメンデーションを正しく生成でき、$ \epsilon $ が小さくても同様に有効である。
• 行動可能で局所的線形な正則化（ALLR）は、標準的な ERM と比較して、ロバストなレコメンデーションが存在する個人の割合を最大で100%まで向上させる。
• ALLRで訓練された分類器は、ERMと同等または低いコストでロバストなレコメンデーションを達成でき、予測性能は競争力を持つ。
• 特に非線形モデルにおいて、ALLRはRossら（2021）の正則化項よりもロバストなレコメンデーションを促進する点で優れている。
• ニューラルネットワークにおいても、$ \epsilon $ が比較的小さければこの手法は有効であるが、内部最大化の非凸性のため、$ \epsilon $ が大きい場合には性能がわずかに低下する。