[論文レビュー] Beyond Individualized Recourse: Interpretable and Interactive Summaries of Actionable Recourses

Kaivalya Rawal, Himabindu Lakkaraju|arXiv (Cornell University)|Sep 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 36被引用数 24

ひとこと要約

この論文では、サブポピュレーションのためのコン pact なルールセットを学習することで、全人口全体に対してグローバルで解釈可能かつコスト効率の良い反事実的説明を生成するモデルに依存しないフレームワーク、Actionable Recourse Summaries (AReS) を紹介する。意思決定者は、展開前に機械学習モデルにおけるバイアスや差別的行動を検出できる。ユーザー研究において、個々のレコメンデーション手法よりもバイアス検出と記述の両面で優れた性能を示した。

ABSTRACT

As predictive models are increasingly being deployed in high-stakes decision-making, there has been a lot of interest in developing algorithms which can provide recourses to affected individuals. While developing such tools is important, it is even more critical to analyse and interpret a predictive model, and vet it thoroughly to ensure that the recourses it offers are meaningful and non-discriminatory before it is deployed in the real world. To this end, we propose a novel model agnostic framework called Actionable Recourse Summaries (AReS) to construct global counterfactual explanations which provide an interpretable and accurate summary of recourses for the entire population. We formulate a novel objective which simultaneously optimizes for correctness of the recourses and interpretability of the explanations, while minimizing overall recourse costs across the entire population. More specifically, our objective enables us to learn, with optimality guarantees on recourse correctness, a small number of compact rule sets each of which capture recourses for well defined subpopulations within the data. We also demonstrate theoretically that several of the prior approaches proposed to generate recourses for individuals are special cases of our framework. Experimental evaluation with real world datasets and user studies demonstrate that our framework can provide decision makers with a comprehensive overview of recourses corresponding to any black box model, and consequently help detect undesirable model biases and discrimination.

研究の動機と目的

• 展開前の機械学習モデルの監査のため、グローバルで解釈可能な行動可能なレコメンデーションの要約が不足しているという問題に対処すること。
• 意思決定者が、レースや性別などの感受性属性によって定義されるサブポピュレーション間でのレコメンデーションの違いを分析できるようにすること。
• 全人口全体にわたって、レコメンデーションの正しさ、解釈可能性、総合的なコストの最適化を同時に実現すること。
• 公平性監査を支援するため、モデル行動における差別的パターンを検出し、強調表示するフレームワークを提供すること。
• 個々のレベルのレコメンデーション手法に起因する制限を克服すること。これらの手法では、高水準のモデル検証やバイアス検出をサポートできない。

提案手法

• レコメンデーションの正しさ、解釈可能性、グローバルなコスト最小化のバランスを取る新しい最適化目的関数を定式化する。
• サブポピュレーションのためのレコメンデーションを捉えるコンパクトなルールセットを学習する、モデルに依存しないアプローチを採用する。
• 特徴量のペアワイズ比較からレコメンデーションコストを学ぶためにBradley-Terryモデルを用い、実数値のコスト関数に依存しない。
• クラスタリングやルールマイニングを通じて、ユーザー定義のサブグループ（例：レース）や自動で発見されたサブポピュレーションを両方サポートする。
• 制約付き最適化によるレコメンデーション正しさの最適性保証と、サブモジュラーや非負のコスト関数を統合する。
• 外側のif文ルールがサブグループを定義し、内側のif-thenルールが行動可能なレコメンデーションを指定するインタラクティブで視覚的な要約を可能にする。

実験結果

リサーチクエスチョン

• RQ1 意思決定者が展開前にモデルの公平性を監査できるような、グローバルで解釈可能なレコメンデーション要約を構築できるか？
• RQ2 特に感受性属性（例：レースや性別）によって定義されるサブポピュレーション間で、レコメンデーションのパターンはどのように異なるか？
• RQ3 一元的なフレームワークが、正しさ、解釈可能性、コスト効率の3つを同時に最適化できるか？
• RQ4 グローバルな要約は、個々のレベルのレコメンデーション説明と比較して、ユーザーがモデルバイアスを検出するのをどの程度効果的に支援するか？
• RQ5 このフレームワークは、ブラックボックスモデルにおける隠れたバイアスをどの程度検出し、明らかにできるか？

主な発見

• ユーザー研究において、AReSを用いた参加者の88.9％が、人種的差異を含むモデルのバイアスを検出できた。一方、集約された個々のレコメンデーション（AR-LIME）を用いた場合は44.4％にとどまった。
• AReSを用いたユーザーの平均で55.6％がバイアスの性質を正しく説明できたが、AR-LIMEを用いた場合はわずか11.1％にとどまった。
• 3層のニューラルネットワークに人種的バイアスを組み込んだ状況で、AReSはAR-LIMEよりもバイアス検出（88.9％対44.4％）とバイアスの記述（55.6％対11.1％）の両面で優れた性能を示した。
• 同様のバイアスを含むロジスティック回帰モデルでは、バイアス検出においてAReSとAR-LIMEは同等の性能（各88.9％）を示したが、バイアスの記述においてはAReSが顕著にAR-LIMEを上回った（66.7％対44.4％）。
• フレームワークは、個々のレベルのレコメンデーション生成においても、最先端のベースラインと同等の高い性能を維持している。
• 結果から、AReSは解釈可能で正確なグローバルな要約を提供し、モデル行動における差別的パターンを効果的に明らかにしていることが示された。