[論文レビュー] Attribution-based Explanations that Provide Recourse Cannot be Robust

Hidde Fokkema, Rianne de Heide+1 more|arXiv (Cornell University)|May 31, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本論文は根本的な理論的制限を証明している：いかなる1つの帰属割り当て手法も、同時に「是正感受性」（モデル意思決定の改善に役立つ行動可能な入力変更を提示すること）と「頑健性」（小さな入力摂動に対して連続であること）を満たすことはできない。著者らは帰属割り当ての是正感受性をユーザが定義する効用関数を用いて形式化し、特に高次元またはスパースな変更設定において、このような妥協は避けられないことを示している。LIME、SHAP、Integrated Gradients、SmoothGradの各手法に対し反例が提示されている。

ABSTRACT

Different users of machine learning methods require different explanations, depending on their goals. To make machine learning accountable to society, one important goal is to get actionable options for recourse, which allow an affected user to change the decision $f(x)$ of a machine learning system by making limited changes to its input $x$. We formalize this by providing a general definition of recourse sensitivity, which needs to be instantiated with a utility function that describes which changes to the decisions are relevant to the user. This definition applies to local attribution methods, which attribute an importance weight to each input feature. It is often argued that such local attributions should be robust, in the sense that a small change in the input $x$ that is being explained, should not cause a large change in the feature weights. However, we prove formally that it is in general impossible for any single attribution method to be both recourse sensitive and robust at the same time. It follows that there must always exist counterexamples to at least one of these properties. We provide such counterexamples for several popular attribution methods, including LIME, SHAP, Integrated Gradients and SmoothGrad. Our results also cover counterfactual explanations, which may be viewed as attributions that describe a perturbation of $x$. We further discuss possible ways to work around our impossibility result, for instance by allowing the output to consist of sets with multiple attributions, and we provide sufficient conditions for specific classes of continuous functions to be recourse sensitive. Finally, we strengthen our impossibility result for the restricted case where users are only able to change a single attribute of $x$, by providing an exact characterization of the functions $f$ to which impossibility applies.

研究の動機と目的

• 機械学習の説明における是正感受性の概念を形式化すること。これは、帰属割り当てがモデルの意思決定を改善するための行動可能な入力変更を示唆する必要があることを意味する。
• 帰属割り当て手法が同時に是正感受性と頑健性（小さな入力摂動に対して連続であること）を満たせるかどうかを調査すること。
• 帰属に基づく説明において、是正感受性と頑健性の間には根本的な理論的不整合が存在することを同定すること。
• 特に単一の特徴量のみを変更可能な制限付き設定において、是正感受性かつ連続な帰属割り当てが存在する十分条件を提示すること。
• 対応的説明（counterfactual explanations）への分析を拡張し、それらが同様の不可能性結果に従属することを示すこと。

提案手法

• ユーザが定義する効用関数を用いて是正感受性を形式化し、入力特徴量の変更による利益の度合いを定量化する。
• 頑健性を入力摂動に対する帰属関数の連続性として定義し、小さな入力変更が帰属に大きな変化をもたらさないことを保証する。
• 不可能性結果を証明：一般のモデルに対して、帰属割り当て手法が同時に是正感受性かつ連続的であることは理論的に不可能である。これは、可能な変更の定義域における位相的議論に基づく。
• LIME、SHAP、Integrated Gradients、SmoothGradといった代表的な手法に対して、小さな入力変更下での不連続性を示す明示的な反例を構築する。
• ユーザーが1つの特徴量のみを変更可能な場合に、連続的で是正感受性のある帰属割り当てが存在する条件を、可能な変更の集合と位相的分離性を用いて特定する。
• 各特徴量に対して集合$L^i$、$R^i$、$O$を定義し、高次元に拡張することで、これらの集合が分離性および閉包条件を満たす場合に連続的帰属割り当てが存在することを証明する。

実験結果

リサーチクエスチョン

• RQ1 与えられた機械学習モデルに対して、帰属割り当て手法が同時に是正感受性と頑健性（連続性）を満たせるか？
• RQ2 ユーザーが1つの特徴量のみを変更可能な場合に、連続的で是正感受性のある帰属関数が存在するための必要十分条件は何か？
• RQ3 LIME、SHAP、Integrated Gradients、SmoothGradといった一般的な帰属割り当て手法は、是正を提供しようとする際、なぜ頑健性を欠くのか？
• RQ4 説明形式を変更することで、たとえば単一のベクトルではなく帰属割り当ての集合を用いることで、不可能性結果を回避できるか？
• RQ5 ユーザーが複数の特徴量を同時に変更可能な場合に、理論枠組みをどの程度拡張できるか？

主な発見

• 入力空間内の位相的制約のため、一般のモデルに対しては、いかなる帰属割り当て手法も同時に是正感受性と頑健性（連続性）を満たすことは理論的に不可能である。
• 著者らは、LIME、SHAP、Integrated Gradients、SmoothGradといった代表的手法が、安定性を意図してもなお、小さな入力変更に対して不連続であることを示す明示的な反例を構築した。
• ユーザーが1つの特徴量のみを変更可能なモデルでは、ある特徴量を増加または減少させたときに効用の増加が得られる入力の集合が、すでに利益を得られる入力の集合と位相的に分離されており、互いに分離されている場合に限り、連続的で是正感受性のある帰属割り当てが存在する。
• 効用関数の構造と可能な変更の幾何的性質が満たす十分条件が成立すれば、連続的で是正感受性のある帰属割り当ての存在が保証される。
• 頑健性がリプシッツ連続性を要件としない弱い意味での連続性としても定義される場合でさえ、不可能性結果は成立する。
• この枠組みは、対応的説明に対しても適用可能である。なぜなら、それらが入力摂動を用いた帰属割り当ての一種と見なせるからである。