[論文レビュー] Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems

Shalmali Joshi, Oluwasanmi Koyejo+3 more|arXiv (Cornell University)|Jul 22, 2019

Scientific Computing and Data Management参考文献 18被引用数 95

ひとこと要約

REVISEを紹介する。データマニホールドを利用した勾配法で、生成モデルを介して現実的で最小限のリコースを提供し、分類と因果意思決定システムのどちらにもおいて望ましくない結果に直面する個人を支援する。不可変属性の扱いとモデルバイアスの診断も含む。

ABSTRACT

Machine learning based decision making systems are increasingly affecting humans. An individual can suffer an undesirable outcome under such decision making systems (e.g. denied credit) irrespective of whether the decision is fair or accurate. Individual recourse pertains to the problem of providing an actionable set of changes a person can undertake in order to improve their outcome. We propose a recourse algorithm that models the underlying data distribution or manifold. We then provide a mechanism to generate the smallest set of changes that will improve an individual's outcome. This mechanism can be easily used to provide recourse for any differentiable machine learning based decision making system. Further, the resulting algorithm is shown to be applicable to both supervised classification and causal decision making systems. Our work attempts to fill gaps in existing fairness literature that have primarily focused on discovering and/or algorithmically enforcing fairness constraints on decision making systems. This work also provides an alternative approach to generating counterfactual explanations.

研究の動機と目的

• 機械学習の意思決定の影響を受けた個人に対して、実用的で現実的なリコースの必要性を動機づける。
• データ分布をモデル化してデータマニホールド上で最小で達成可能な変更を生成するフレームワークを提案する。
• リコース生成を純粋な分類から因果意思決定モデルへ拡張する。
• 不可変変数を条件付けしてフレームワークを条件付き因果モデルへ適応させることで不可変性を扱う。
• 訓練済み意思決定システムのバイアスと混乱を明らかにする診断機能を提供する。

提案手法

• 生成モデル（例：VAE、HI-VAE、BiGAN風のエンコーダ）を用いてデータ分布をモデル化し、現実的なサンプルの潜在マニホールドを得る。
• リコースを、望ましくない決定を望ましい方向へ反転させるデータマニホールド上の近傍点を見つけることとして定義し、予測損失とマニホールド距離の正則化目的関数を組み合わせて最適化する（式1 / 式2）。
• 潜在空間で勾配ベースの更新を行い、決定境界を跨ぎつつ目的関数を最小化し、その後入力空間へ写像してリコース属性を得る。
• 元のインスタンスへの近さと望ましい結果の実現をバランスさせる調整可能な正則化重み lambda を導入する（式2）。
• 因果決定モデルへ拡張するには、損失を因果代理目的関数に置換する（式3）と、潜在空間を隠れた共因子に対応させて横断すること、-do介入とさまざま治療下でのリコースを検討する。
• 不可変変数には条件付けで対処し、条件付きCEVAEなどの条件付き因果モデルを提案して提案変更が不可変性を尊重するようにする。

実験結果

リサーチクエスチョン

• RQ1 データマニホールドに沿ってリコースを生成し、現実性と実行可能性を個人に対して保証できるか。
• RQ2 REVISE フレームワークは標準の分類と因果決定システムの両方に対して実用的なリコースを提供できるか。
• RQ3 不可変属性はリコースの実現可能性と質にどう影響するか、モデルはそれにどう対応できるか。
• RQ4 混同やバイアスのあるデータの存在はリコースの質と性質にどのような影響を与えるか。
• RQ5 リコースはブラックボックスモデルのバイアスを明らかにする診断ツールとしても機能するか。

主な発見

• 提案された REVISE アルゴリズムは、データマニホールドを横断して決定境界を超えつつ、観測データ分布に現実的であるリコースを生成できる。
• リコースは監視付き分類と因果モデルの双方で実証され、フレームワークの一般性を示す。線形分類子を超える。
• 不可変変数を条件付き因果モデルで処理することにより、不可変属性を変更せずにリコースを可能にし、公正な推奨を実現。
• 実データセットでの実験は、データバイアスと潜在的な共因がリコースの質とスパース性に影響を与えるという定性的・診断的証拠を示す。
• リコースは、バイアスのあるデータとバイアスのないデータで学習された分類器を比較する診断ツールを提供し、共因がリコースに与える影響を研究できる。
• ダイレクトにバイアスのある属性（例：性別認識の例での性別や髪の色）とリコース経路の相互作用を示すことで、ブラックボックスモデルのバイアスを暴露できる。
• フレームワークは、偏りのあるデータと偏りのないデータで学習された分類器を比較する診断ツールを提供し、共因がリコースに与える影響を研究できる。