[論文レビュー] Sanity Checks Revisited: An Exploration to Repair the Model Parameter Randomisation Test

Anna Karin Hedström, Leander Weber+2 more|arXiv (Cornell University)|Jan 12, 2024

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本論文は、Model Parameter Randomisation Test (MPRT) を、Smooth MPRT (sMPRT) および Efficient MPRT (eMPRT) の2つの適応を用いて拡張し、寄与度のノイズ除去と完全ランダム化後の説明の複雑さの上昇を測定することによって、XAI の説明の信頼性を向上させる。

ABSTRACT

The Model Parameter Randomisation Test (MPRT) is widely acknowledged in the eXplainable Artificial Intelligence (XAI) community for its well-motivated evaluative principle: that the explanation function should be sensitive to changes in the parameters of the model function. However, recent works have identified several methodological caveats for the empirical interpretation of MPRT. To address these caveats, we introduce two adaptations to the original MPRT -- Smooth MPRT and Efficient MPRT, where the former minimises the impact that noise has on the evaluation results through sampling and the latter circumvents the need for biased similarity measurements by re-interpreting the test through the explanation's rise in complexity, after full parameter randomisation. Our experimental results demonstrate that these proposed variants lead to improved metric reliability, thus enabling a more trustworthy application of XAI methods.

研究の動機と目的

• 真の基準が欠如している状況を踏まえ、XAI における説明手法の頑健な評価を動機づける。
• 元の MPRT の方法論的留意点（前処理、レイヤー順序、類似度測定）を特定し対処する。
• タスクとモデル全体で指標の信頼性を高めるために、2つの適応（sMPRT と eMPRT）を提案する。
• Quantus フレームワーク内で実装を提供し、再利用のためにコードを公開する。

提案手法

• 元の MPRT とその限界（前処理、レイヤー順序、類似度測定）を定義する。
• sMPRT の導入: 比較前にN個の撹乱入力で説明を平均化して寄与度をノイズ除去する。
• eMPRT の導入: 対をなす類似度の代わりに、完全ランダム化後の寄与度分布のエントロピーを用いた複雑さの上昇測定で測る。
• 下位層からのランダム化を用いて層間の情報の持続を緩和する。
• 複数のデータセット、モデル、寄与手法に跨るメタ評価ベンチマークを通じて信頼性を定量化する。Quantus リポジトリにコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 多様なモデルとタスクに対する既存の MPRT 評価の信頼性はどの程度か。
• RQ2 寄与度のノイズ除去（sMPRT）はノイズや破砕（shattering）に対する MPRT の頑健性を改善できるか。
• RQ3 完全ランダム化後の説明の複雑さの上昇を測定する（eMPRT）は、対比較の類似度に依存せずバイアスのない忠実度評価を提供できるか。
• RQ4 sMPRT および eMPRT は、説明手法の比較評価において元の MPRT より高いメタ一貫性を示すか。
• RQ5 それぞれの適応の実用的なトレードオフ（計算コスト、ハイパーパラメータ感度）は何か。

主な発見

• sMPRT はノイズ感度を低減し、特に勾配ベースの寄与度におけるランキングを変えるが、計算コストが高くなる。
• eMPRT は計算効率の高い代替手段を提供し、初期の説明の複雑さと完全ランダム化に評価を固定し、レイヤー順序への依存を減らす。
• sMPRT と eMPRT は、複数のタスクと寄与方のセットに跨るメタ一貫性ベンチマークで、元の MPRT を一般的に上回る。
• ランダム寄与 baselines は、MPRT よりも eMPRT で一貫して低いスコアを受け、 新しい指標による忠実度評価の改善を示す。
• sMPRT も eMPRT も完璧な信頼性（MC bar がほぼ 1）を達成せず、XAI における多面的評価の必要性を強調している。