[論文レビュー] NICE: An Algorithm for Nearest Instance Counterfactual Explanations

Dieter Brughmans, Pieter Leyman+1 more|arXiv (Cornell University)|Apr 15, 2021

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

NICE は、異種の表形式データにおいて、100% のカバレッジ、効率性、および任意の分類モデルとの互換性を確保する、画期的でモデルに依存しない反事実説明を生成するためのアルゴリズムである。この手法は、近隣の異なるクラスに属する例から特徴を段階的に取り入れることで反事実を生成する。40のデータセットにおいて、スパarsity、近接性、妥当性の観点で最先端の手法を上回っている。

ABSTRACT

In this paper we suggest NICE: a new algorithm to generate counterfactual explanations for heterogeneous tabular data. The design of our algorithm specifically takes into account algorithmic requirements that often emerge in real-life deployments: (1) the ability to provide an explanation for all predictions, (2) being able to handle any classification model (also non-differentiable ones), and (3) being efficient in run time. More specifically, our approach exploits information from a nearest unlike neighbour to speed up the search process, by iteratively introducing feature values from this neighbour in the instance to be explained. We propose four versions of NICE, one without optimization and, three which optimize the explanations for one of the following properties: sparsity, proximity or plausibility. An extensive empirical comparison on 40 datasets shows that our algorithm outperforms the current state-of-the-art in terms of these criteria. Our analyses show a trade-off between on the one hand plausibility and on the other hand proximity or sparsity, with our different optimization methods offering users the choice to select the types of counterfactuals that they prefer. An open-source implementation of NICE can be found at https://github.com/ADMAntwerp/NICE.

研究の動機と目的

• 信用スコアリングや不正検知などのハイリスク分野における実運用に適した、効率的でモデルに依存しない反事実説明アルゴリズムの不足を解消すること。
• 既存の手法が一部のインスタンスに対して説明を生成できないという制限を克服し、すべての予測を説明可能にすること。
• 税関やローン審査などの高スルーレット環境におけるリアルタイム意思決定を支援するため、計算効率を確保すること。
• スパarsity、近接性、妥当性のトレードオフを意識した説明選択が可能なように、ユーザーがカスタマイズ可能な反事実を提供すること。
• 微分不能なモデルと異種の表形式データに対応できることで、実用的応用性を高めること。

提案手法

• 説明対象のインスタンスに近い、異なるクラスに属する正しく分類されたインスタンス（近隣の異なるクラスの例）から反事実探索を開始し、その近接性を活用する。
• 説明対象のインスタンスの特徴値を、段階的に近隣の異なるクラスの例からの値に置き換えることで、反事実を反復的に生成する。
• クラス変更を引き起こす最小限の特徴変更の集合を特定するためのグリーディで反復的なアプローチを採用し、効率性と収束性を確保する。
• 4つのNICEのバリエーションを実装：ベースライン1つと、スパarsity、近接性、妥当性を最適化した3つのバリエーション。それぞれに特化した報酬関数を用いる。
• 元のインスタンスに存在する特徴のみに特徴ごとの摂動を適用することで、妥当性を保ち、現実的でない変更を回避する。
• 複数クラス設定に一般化するため、複数のクラスターゲットを扱えるように報酬関数を修正し、完全なカバレッジを維持する。

実験結果

リサーチクエスチョン

• RQ1 実運用環境において、反事実説明アルゴリズムがすべての予測に対して100% のカバレッジを達成できるか？
• RQ2 税関や信用スコアリングのような高スルーレットアプリケーションに適した、反事実生成の効率性とスケーラビリティはどのように達成できるか？
• RQ3 スパarsity、近接性、妥当性の間にはどのようなトレードオフがあり、ユーザーがこのトレードオフを制御できるか？
• RQ4 モデルに依存しないアルゴリズムが、微分不能なモデルと異種の表形式データに対しても高品質な反事実を生成できるか？
• RQ5 スパarsity、近接性、妥当性の代替測定指標を用いても、NICE は最先端の手法と比較して優れた性能を発揮するか？

主な発見

• NICE は、40の多様なデータセットにおいて、スパarsity、近接性、妥当性という3つの主要な目的で、既存の最先端の反事実アルゴリズムをすべて上回っている。
• スパarsity と近接性の間に強い相関関係が存在し、反事実生成における主なトレードオフは、この2つの特性と妥当性の間にあることが示された。
• 100% のカバレッジを達成しており、特に否定的予測を示すインスタンスに対しても説明が可能であるため、法的および運用上の要件を満たしている。
• 文献に掲載された代替の近接性および妥当性の指標を用いても、NICE は優れた性能を維持しており、その頑健性が確認された。
• NICE の異なる最適化バリエーションにより、ユーザーは自身のニーズに応じた説明を選択可能である。たとえば、最小限の特徴変更（スパarsity）、元のインスタンスに近い変更（近接性）、現実的で妥当な変更（妥当性）を実現できる。
• 実験的結果から、NICE が計算的にも効率的であることが確認され、大量の意思決定システムにおけるリアルタイム導入に適していることが示された。