[論文レビュー] Debugging Tests for Model Explanations

Adebayo, Julius, Michael Muelly+2 more|arXiv (Cornell University)|Nov 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 63被引用数 7

ひとこと要約

本稿は、データ、モデル、テスト時の3種類の汚染タイプにわたる標的的なデバッグテストを導入することで、後処理モデル説明がモデル誤りを診断する能力を評価する。説明手法は誤った背景相関を検出できるが、誤標識付きの例やモデル汚染を信頼性高く特定できないことが判明し、特にバックプロパゲーションが変更された場合にはその傾向が顕著である。また、人間の被験者は欠陥検出において説明よりもモデル予測に依存している。

ABSTRACT

We investigate whether post-hoc model explanations are effective for diagnosing model errors--model debugging. In response to the challenge of explaining a model's prediction, a vast array of explanation methods have been proposed. Despite increasing use, it is unclear if they are effective. To start, we categorize extit{bugs}, based on their source, into:~ extit{data, model, and test-time} contamination bugs. For several explanation methods, we assess their ability to: detect spurious correlation artifacts (data contamination), diagnose mislabeled training examples (data contamination), differentiate between a (partially) re-initialized model and a trained one (model contamination), and detect out-of-distribution inputs (test-time contamination). We find that the methods tested are able to diagnose a spurious background bug, but not conclusively identify mislabeled training examples. In addition, a class of methods, that modify the back-propagation algorithm are invariant to the higher layer parameters of a deep network; hence, ineffective for diagnosing model contamination. We complement our analysis with a human subject study, and find that subjects fail to identify defective models using attributions, but instead rely, primarily, on model predictions. Taken together, our results provide guidance for practitioners and researchers turning to explanations as tools for model debugging.

研究の動機と目的

• 後処理モデル説明が、ディープラーニングシステムにおけるモデル誤りを効果的に診断できるかどうかを評価すること。
• モデル誤りをデータ汚染、モデル汚染、テスト時汚染の3種類に分類し、体系的な評価を可能にする。
• さまざまなタイプのモデル欠陥に対して、説明手法の診断能力を評価すること。
• 実際の現場で人間のユーザーが説明を活用して欠陥のあるモデルを特定できるかどうかを調査すること。
• 研究者および実務家が、モデルデバッグにおける説明の信頼性について実用的なガイダンスを提供すること。

提案手法

• モデル誤りを3種類に分類する：データ汚染（例：誤った相関、誤標識付き例）、モデル汚染（例：再初期化された重み）、テスト時汚染（例：分布外入力）。
• 各誤りタイプの検出能力を評価できるように、標的的なデバッグテストを設計する。
• 類似度マップ、Grad-CAM、バックプロパゲーションに基づく手法を含む複数の説明手法を、これらのテストに適用する。
• 人間被験者による実験を実施し、説明とモデル予測の両方を用いた場合に、ユーザーが欠陥のあるモデルを特定できるかを評価する。
• 特定の説明手法（例：バックプロパゲーションを変更する手法）の不変性特性を分析し、モデルレベルの誤り検出に失敗する理由を説明する。
• 既知の欠陥を有するモデル間での説明出力を比較し、一貫性と診断的有用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 後処理説明手法は、モデル予測における誤った背景相関のアーティファクトを検出できるか？
• RQ2 説明手法は、データ汚染の一形態である誤標識付き学習例を効果的に特定できるか？
• RQ3 説明手法は、ネットワーク重みの部分的再初期化といったモデルレベルの汚染を診断できるか？
• RQ4 説明手法は、推論時（テスト時）に分布外入力を検出できるか？
• RQ5 人間のユーザーは、説明を効果的に活用して欠陥のあるモデルを特定できるか、それとも主にモデル予測に依存するか？

主な発見

• 類似度マップに基づく説明手法は、誤った背景相関を効果的に検出でき、データ汚染に対するある程度の診断能力を示している。
• 誤標識付き学習例がデータセットに存在しても、説明手法はその特定を確実に行えない。
• バックプロパゲーションアルゴリズムを変更する手法は、高層層のネットワークパラメータに対して不変であるため、モデルレベルの汚染を検出できていない。
• 人間被験者による実験では、被験者が欠陥のあるモデルを検出するために説明に依存しているのではなく、主にモデル予測に依存していることが判明した。
• 本研究は、理論的には有用な説明と実際の使用における有用性の間には乖離があることを明らかにした。特に、モデルデバッグタスクにおいて顕著である。
• 全体として、説明手法は特にデータ汚染やモデル汚染（単純な誤った相関を超えて）を診断する上で限界があることが示された。