[論文レビュー] Identifying Spurious Correlations and Correcting them with an Explanation-based Learning

Misgina Tsighe Hagos, Kathleen M. Curran+1 more|arXiv (Cornell University)|Nov 15, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文では、平均モンテカルロドロップアウトを用いてモデルの不確実性の変化を分析することで、画像分類器における誤った相関関係を同定するための摂動ベースの手法を提案している。その後、説明に基づく微調整を用いてこれらの相関関係を是正し、不要な画像領域への依存を軽減し、耐性を向上させた。その結果、微調整後の平均モンテカルロドロップアウトの変化が0.50から0.15に低下したことが示された。

ABSTRACT

Identifying spurious correlations learned by a trained model is at the core of refining a trained model and building a trustworthy model. We present a simple method to identify spurious correlations that have been learned by a model trained for image classification problems. We apply image-level perturbations and monitor changes in certainties of predictions made using the trained model. We demonstrate this approach using an image classification dataset that contains images with synthetically generated spurious regions and show that the trained model was overdependent on spurious regions. Moreover, we remove the learned spurious correlations with an explanation based learning approach.

研究の動機と目的

• 画像分類器が学習した誤った相関関係がモデルの信頼性を損なう要因となることを特定すること。
• 手動でのインスタンスのキュレーションを必要とせず、非本質的な画像領域への過剰な依存を自動的に摂動ベースで同定する手法を開発すること。
• 説明に基づく学習を用いて誤った相関関係を是正し、誤った特徴量へのモデルの依存を低減すること。
• 不確実性のモニタリングと標的的な微調整を通じて予測を精錬することで、モデルの耐性を向上させること。

提案手法

• ターゲットクラスの画像から切り出したパッチを用いて、4x4ピクセルの領域を置き換えることで、画像レベルの摂動を適用し、破壊的な変化を模擬する。
• 100回の順方向伝搬を繰り返して平均モンテカルロドロップアウトを用いてモデルの不確実性をモニタリングし、予測の確実性が著しく低下するかを検出する。
• 平均モンテカルロドロップアウト値の低下が最も大きくなる領域を、過剰に依存しているとされる誤った領域として同定する。
• 式(3)に従う説明に基づく学習を用いて、同定された誤った領域への感受性を低減するようにモデルを微調整する。
• 検出および是正の有効性を検証するために、制御されたデータセットで合成的に生成された誤った領域を用いる。
• 微調整の前後で平均モンテカルロドロップアウトの変化を比較し、誤った相関関係の影響の低減を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 手動での失敗事例のラベリングを必要とせず、画像レベルの摂動がモデルの予測における誤った相関関係を効果的に同定できるか？
• RQ2 誤った画像領域で摂動が加えられた際に、モデルの予測の確実性はどの程度低下するか？これは過剰な依存を示唆する。
• RQ3 説明に基づく学習が、摂動分析によって同定された誤った画像領域への依存を効果的に低減できるか？
• RQ4 誤った相関関係を是正した後、不確実性の大きさ（平均モンテカルロドロップアウトで測定）はどのように変化するか？

主な発見

• 分類損失のみで訓練されたモデルは、摂動に対して平均モンテカルロドロップアウトの変化が0.50を示し、誤った領域への高い感受性を示していた。
• 平均モンテカルロドロップアウトの最大低下は、合成的に追加された誤った領域を摂動した際に観察され、それらが主な予測要因であることを確認した。
• 説明に基づく微調整後、平均モンテカルロドロップアウトの変化は0.15に低下し、誤った特徴量への感受性が低減していることが示された。
• 可視化による点検で、最も破壊的な摂動が誤った領域として同定された同じ画像領域を標的にしていたことが確認され、検出手法の妥当性が裏付けられた。
• 微調整後のモデルは、摂動があってもテスト画像に対して正しく予測を維持しており、誤った特徴量への過剰な依存が低減され、耐性が向上していることが示された。