[論文レビュー] Order in the Court: Explainable AI Methods Prone to Disagreement

Michael Neely, Stefan F. Schouten+2 more|arXiv (Cornell University)|May 7, 2021

Explainable Artificial Intelligence (XAI)参考文献 46被引用数 7

ひとこと要約

この論文は、説明可能なAI手法の評価における順位相関の妥当性を調査し、LIME、Integrated Gradients、DeepLIFT、Grad-SHAP、Deep-SHAP、および注目メカニズムに基づく説明を、単一およびペアシーケンスタスクにおける2つのニューラルアーキテクチャで比較する。研究では、さまざまな手法間で広範な不一致が認められ、順位相関が特徴加法的説明の質を評価するのに不適切であると結論づけ、代わりにより厳密な診断手法の採用を提言する。

ABSTRACT

By computing the rank correlation between attention weights and feature-additive explanation methods, previous analyses either invalidate or support the role of attention-based explanations as a faithful and plausible measure of salience. To investigate whether this approach is appropriate, we compare LIME, Integrated Gradients, DeepLIFT, Grad-SHAP, Deep-SHAP, and attention-based explanations, applied to two neural architectures trained on single- and pair-sequence language tasks. In most cases, we find that none of our chosen methods agree. Based on our empirical observations and theoretical objections, we conclude that rank correlation does not measure the quality of feature-additive methods. Practitioners should instead use the numerous and rigorous diagnostic methods proposed by the community.

研究の動機と目的

• 順位相関がLIME や Integrated Gradients などの特徴加法的説明手法の忠実性を評価する有効な指標であるかどうかを評価すること。
• 注目メカニズムに基づく説明と勾配ベースのアプローチを含む、さまざまな説明可能AI手法間の一貫性と合意度を調査すること。
• 注目メカニズムを忠実なセマンティック強調指標として正当化すると主張する先行研究において、順位相関が広く使用されていることへの挑戦。
• 説明の質を評価するためのより厳密な、コミュニティが提唱した診断手法を順位相関よりも採用するよう提言すること。
• 順位相関が特徴加法的説明の質を信頼性を持って測定できないという、実証的および理論的証拠を提示すること。

提案手法

• 著者らは、単一およびペアシーケンス言語タスクで学習された2つのニューラルネットワークアーキテクチャに、6つの説明手法（LIME、Integrated Gradients、DeepLIFT、Grad-SHAP、Deep-SHAP、および注目メカニズム）を適用する。
• 複数の入力サンプルにわたって、注目重みと特徴加法的説明手法の出力との間の順位相関を計算する。
• 異なるNLPアーキテクチャとデータタイプに一般化できるかを評価するために、単一シーケンスおよびペアシーケンスタスクの両方で分析を実施する。
• 理論的議論を通じて、順位相関が単調変換に対して感度が低く、大きさの差に鈍感であるため、説明の質の代理指標として信頼性が低いことを示す。
• 実証的な不一致のパターンと理論的期待値を比較することで、順位相関が診断ツールとしての限界を示す。
• 著者らは、順位相関の代わりに、より堅牢でコミュニティで検証済みの診断手順を採用することで、説明手法の評価を改善すべきだと提言する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムと勾配ベースのアプローチを含む、さまざまな説明可能AI手法は、どれほどその強調順位で一致するか？
• RQ2 順位相関は、特徴加法的説明手法の忠実性を評価する有効で信頼性のある指標とみなせるか？
• RQ3 順位相関を用いて注目メカニズムの忠実性を正当化すると主張する先行研究が、なぜ結論的な証拠を提供できないのか？
• RQ4 深層学習モデルにおける説明の質を評価する際、順位相関を使用する際の理論的および実証的限界は何か？
• RQ5 順位相関の代わりに、実務家が採用すべき代替診断手法は何か？

主な発見

• ほとんどの実験設定において、テストされた6つの説明手法間に一貫した合意が認められず、異なるアプローチ間で高い不一致が生じていることが示された。
• 注目重みと特徴加法的説明を比較する際に順位相関が使用されるが、その方法論的欠陥のため、説明の質を信頼性を持って測定できない。
• 理論的分析により、順位相関が大きさの差に鈍感であり、単調変換に対して不変であることが示され、診断ツールとしての有効性が損なわれる。
• 実証的結果では、同じモデルと入力に同じ手法を適用しても、強調順位が頻繁に分かれることを示し、一貫性の仮定が疑わしいことが明らかになった。
• 研究は、実務家が説明の質を評価する際、順位相関を放棄し、より厳密でコミュニティで検証済みの診断手法を採用すべきだと結論づける。
• 研究結果は、順位相関を用いて注目メカニズムの忠実性を正当化する以前の主張が、方法論的に不適切であり、再評価すべきであることを示唆している。