[論文レビュー] Resisting Out-of-Distribution Data Problem in Perturbation of XAI

Luyu Qiu, Yi Yang+6 more|arXiv (Cornell University)|Jul 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 56被引用数 4

ひとこと要約

本稿では、一貫性のない摂動サンプルによって引き起こされる摂動ベースXAI手法における過信問題を軽減するため、OoD（Out-of-Distribution）ブロックを提案する。各摂動サンプルのインライナー得点を定量化し、説明集約に統合することで、RISE、OCCLUSION、LIMEにおいて忠実性と信頼性が向上し、計算的および認知的メトリクスにおいて顕著な向上を示す。特に劣化状況下で顕著な効果を示す。

ABSTRACT

With the rapid development of eXplainable Artificial Intelligence (XAI), perturbation-based XAI algorithms have become quite popular due to their effectiveness and ease of implementation. The vast majority of perturbation-based XAI techniques face the challenge of Out-of-Distribution (OoD) data -- an artifact of randomly perturbed data becoming inconsistent with the original dataset. OoD data leads to the over-confidence problem in model predictions, making the existing XAI approaches unreliable. To our best knowledge, the OoD data problem in perturbation-based XAI algorithms has not been adequately addressed in the literature. In this work, we address this OoD data problem by designing an additional module quantifying the affinity between the perturbed data and the original dataset distribution, which is integrated into the process of aggregation. Our solution is shown to be compatible with the most popular perturbation-based XAI algorithms, such as RISE, OCCLUSION, and LIME. Experiments have confirmed that our methods demonstrate a significant improvement in general cases using both computational and cognitive metrics. Especially in the case of degradation, our proposed approach demonstrates outstanding performance comparing to baselines. Besides, our solution also resolves a fundamental problem with the faithfulness indicator, a commonly used evaluation metric of XAI algorithms that appears to be sensitive to the OoD issue.

研究の動機と目的

• 摂動ベースXAIにおけるOut-of-Distribution（OoD）データが、過信的かつ信頼性の低い説明を引き起こすという深刻な問題に対処する。
• ランダムな摂動から生じるOoDアーティファクトが、XAI手法および評価メトリクスの忠実性を損なうことを特定する。
• RISE、OCCLUSION、LIMEなどの一般的なXAIアルゴリズムと互換性を持つ、一般化可能な解決策を開発する。
• OoDサンプルに敏感な忠実度メトリクスの根本的バイアスを、インライナー得点の統合によって解消する。
• 複数のデータセットおよびモデルを対象に、計算的メトリクスと人間評価の両方で、性能の向上を実証する。

提案手法

• 各摂動サンプルの、元のデータ分布に属する可能性を推定するインライナー得点を計算するため、異常検知技術に基づくOoDブロックを設計する。
• インライナー得点を説明集約プロセスに統合し、OoDサンプルからの予測を低減することで、過信を軽減する。
• RISE、OCCLUSION、LIMEの3つの主要な摂動ベースXAI手法にOoDブロックを適用し、それぞれ$RISE^{+}$、$OCCLUSION^{+}$、$LIME^{+}$という改善版を実現する。
• サリエンシーマップ生成時にインライナー得点を重み付け要因として使用し、分布的に一貫性のある摂動のみが最終的な説明に顕著に寄与するようにする。
• インライナー得点を組み込むことで、忠実度メトリクスを改変し、OoDサンプルによるバイアスを排除し、より信頼性の高い評価指標を生成する。
• 事前学習モデルと統計的分析を活用し、多様なデータセットおよびアーキテクチャにおいて、OoDブロックの堅牢性と一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 摂動ベースXAI手法におけるOoDデータの存在が、モデルの信頼度および説明の忠実度に与える影響は何か？
• RQ2 インライナー得点メカニズムは、摂動ベースXAIにおけるOoDサンプルの影響を効果的に同定・軽減できるか？
• RQ3 改善版XAI手法（$RISE^{+}$、$OCCLUSION^{+}$、$LIME^{+}$）は、計算的および認知的評価メトリクスにおいて、ベースラインをどの程度上回るか？
• RQ4 提案されたOoD対応忠実度メトリクスは、OoDサンプルが存在する状況で、標準忠実度メトリクスに見られるバイアスを解消できるか？
• RQ5 OoDブロックは、分布シフトやモデル劣化状況下でもどの程度の性能を示すか？

主な発見

• 提案された$RISE^{+}$、$OCCLUSION^{+}$、$LIME^{+}$手法は説明品質を顕著に向上させ、ResNet50を用いたImageNetでは$OCCLUSION^{+}$が局所化性能で37.35%の向上を達成した。
• VGG16を用いたVOCデータセットでは、$OCCLUSION^{+}$がベースラインのOCCLUSION比で局所化性能で62.49%の向上を示し、複数オブジェクト状況下でも優れた性能を発揮した。
• ユーザースタディーでは、$OCCLUSION^{+}$および$LIME^{+}$が、説明の質、ユーザー満足度、好奇心、信頼性、理解度の各分野で、それぞれのベースラインを常に上回ることが評価され、効果サイズはd = 1.15からd = 2.01の範囲であった。
• OoDブロックにより、劣化状況下での過信が軽減され、モデルがストレス状態に置かれた際、$RISE^{+}$がRISEよりも信頼性の高いサリエンシーマップを生成した。
• インライナー得点に基づいて最適化された忠実度メトリクスは、OoDアーティファクトへの感受性が低く、標準忠実度評価における根本的欠陥を是正した。
• 本手法は、ImageNetやVOCといった多様なデータセットおよびResNet50やVGG16といった多様なモデルで一貫した向上を示し、一般化可能性と堅牢性を確認した。