[論文レビュー] Towards the Unification and Robustness of Perturbation and Gradient Based Explanations

Sushant Agarwal, Shahin Jabbari+4 more|arXiv (Cornell University)|Feb 21, 2021

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本稿では、摂動に基づく（連続的LIME）および勾配に基づく（SmoothGrad）説明手法を、期待値において同じ説明に収束することを示す閉形式の式を導出することで統一する。十分な摂動を用いる場合、両手法が一様に安定しておりリプシッツ連続であることを証明し、ブラックボックスモデルの局所的モデル説明における収束性と安定性に関する理論的保証を確立する。

ABSTRACT

As machine learning black boxes are increasingly being deployed in critical domains such as healthcare and criminal justice, there has been a growing emphasis on developing techniques for explaining these black boxes in a post hoc manner. In this work, we analyze two popular post hoc interpretation techniques: SmoothGrad which is a gradient based method, and a variant of LIME which is a perturbation based method. More specifically, we derive explicit closed form expressions for the explanations output by these two methods and show that they both converge to the same explanation in expectation, i.e., when the number of perturbed samples used by these methods is large. We then leverage this connection to establish other desirable properties, such as robustness, for these techniques. We also derive finite sample complexity bounds for the number of perturbations required for these methods to converge to their expected explanation. Finally, we empirically validate our theory using extensive experimentation on both synthetic and real world datasets.

研究の動機と目的

• 摂動に基づく（LIME）および勾配に基づく（SmoothGrad）後処理説明手法の理論的関連を確立すること。
• 両手法からの説明の閉形式表現を導出し、期待値において収束することを示すこと。
• 十分な標本サイズ条件下で両手法の安定性およびリプシッツ連続性を証明すること。
• 期待される説明への収束に必要な有限標本の複雑さの境界を導出すること。
• 理論的主張を合成および実世界のデータセットを用いて実証的に検証すること。

提案手法

• 連続的LIME（LIMEの離散化されていない変種）およびSmoothGradからの説明の明示的閉形式表現を導出する。
• 摂動サンプルの数が増加するにつれて、両手法が期待値において同一の説明に収束することを示す。
• 等価性を用いてリプシッツ連続性を証明し、微小な入力摂動に対して安定であることを確立する。
• 期待される説明への収束に必要な摂動回数の有限標本の複雑さの境界を導出する。
• 導出された条件下で、両手法が線形性およびその他の望ましい性質を満たすことを証明する。
• 医療、金融、EC分野の合成および実世界データセットを用いて、理論的主張を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 摂動に基づくおよび勾配に基づく説明手法は、期待値において同じ説明に収束するか？
• RQ2 連続的LIMEとSmoothGradの理論的同等性を活用して、安定性の性質を証明できるか？
• RQ3 両手法が期待される説明に収束するための有限標本の複雑さは何か？
• RQ4 微小な入力摂動に対して両手法は証明可能に安定か？
• RQ5 摂動の分散などのハイパーパrameterが収束性および安定性に与える影響は何か？

主な発見

• 連続的LIMEとSmoothGradは、摂動回数が増加するにつれて期待値において同一の説明に収束する。
• 両手法はリプシッツ連続であり、十分に多くのサンプルが使用される場合、微小な入力摂動に対して安定である。
• 期待される説明への収束に向けた理論的有限標本の複雑さの境界が導出された。
• 実証的結果では、両手法が理論的予測よりも速く収束し、より少ない摂動回数で済むことが示された。
• SmoothGradは連続的LIMEよりも少ない摂動回数で安定性を達成し、より速く収束する。
• 両手法において、摂動の分散を小さくすることで収束速度と安定性が向上する。