[論文レビュー] The Clever Hans Effect in Anomaly Detection

Jacob Kauffmann, Lukas Ruff+2 more|arXiv (Cornell University)|Jun 18, 2020

Anomaly Detection Techniques and Applications参考文献 36被引用数 18

ひとこと要約

本稿は、教師なし異常検出モデルの多様な分野にわたり、余計な関係のない特徴に依存する『クレーブ・ハンス効果』を検出する解釈可能なAI（XAI）フレームワークを導入する。統一された三層ニューラルアーキテクチャにモデルを埋め込み、ピクセル単位の説明マッチングを用いることで、クレーブ・ハンス効果が広範にわたり、構造的要因に起因するものであり、データ駆動のものではないことが明らかになった。一方、単純なアンサンブル手法（バギング）を用いることで、これらの効果が軽減され、検出のロバスト性と一般化性能が向上する。

ABSTRACT

The 'Clever Hans' effect occurs when the learned model produces correct predictions based on the 'wrong' features. This effect which undermines the generalization capability of an ML model and goes undetected by standard validation techniques has been frequently observed for supervised learning where the training algorithm leverages spurious correlations in the data. The question whether Clever Hans also occurs in unsupervised learning, and in which form, has received so far almost no attention. Therefore, this paper will contribute an explainable AI (XAI) procedure that can highlight the relevant features used by popular anomaly detection models of different type. Our analysis reveals that the Clever Hans effect is widespread in anomaly detection and occurs in many (unexpected) forms. Interestingly, the observed Clever Hans effects are in this case not so much due to the data, but due to the anomaly detection models themselves whose structure makes them unable to detect the truly relevant features, even though vast amounts of data points are available. Overall, our work contributes a warning against an unrestrained use of existing anomaly detection models in practical applications, but it also points at a possible way out of the Clever Hans dilemma, specifically, by allowing multiple anomaly models to mutually cancel their individual structural weaknesses to jointly produce a better and more trustworthy anomaly detector.

研究の動機と目的

• 教師あり学習とは異なりラベル付きデータが存在しないにもかかわらず、異常検出モデルが余計な相関を利用する『クレーブ・ハンス効果』が、教師なし異常検出に見られるかどうかを調査すること。
• 多様な異常検出モデルに適用可能な統一的で解釈可能なAI（XAI）フレームワークを構築し、予測に寄与する入力特徴を特定すること。
• ピクセル単位の正例アノテーションを用いて、クレーブ・ハンス効果を定量化し、データ由来の余計な相関とは区別すること。
• バギングのようなアンサンブル手法が、クレーブ・ハンス行動を引き起こす構造的欠陥を緩和し、検出性能とロバスト性を向上させることを評価すること。
• モデル構造が、教師あり学習とは対照的に、異常検出におけるクレーブ・ハンス効果の主な要因であることを示すこと。

提案手法

• KDE、オートエンコーダ、ディープオートエンコーダなど多様な異常検出モデルを、(i) 特徴抽出、(ii) 距離計算、(iii) プーリングの三層構造を持つ共通のニューラルネットワークに統合し、一貫した説明抽出を可能にする。
• 統一アーキテクチャを介してバックプロパゲーションを適用し、異常スコアに最も寄与する入力特徴を特定するセマンティクスマップを計算する。
• 正規化されたL2セマンティクスマップを用いて特徴の重要性を定量化し、ピクセル単位の交差率（IoU）を用いて「クレーブ・ハンススコア」を、正例アノテーションと照合して算出する。
• バギングアンサンブル戦略を採用：KDE、オートエンコーダ、ディープオートエンコーダの標準化済み外れスコアを平均化して統合検出器を構築する。
• 個々のモデルスコアを訓練データ上で標準化（平均0、標準偏差1）し、公平な比較とアンサンブル学習を可能にする。
• 同じテスト画像を用いて、複数のモデル間で説明を可視化・比較し、特徴カバー範囲と真の異常領域との整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 クレーブ・ハンス効果は、教師なし異常検出モデルにどの程度顕在化し、どのような形で現れるか？
• RQ2 異常検出におけるクレーブ・ハンス効果は、主にデータ由来の余計な相関に起因するのか、それともモデル自体の構造的制限に起因するのか？
• RQ3 統一されたXAIフレームワークは、多様な異常検出モデルに効果的に適用可能であり、特徴レベルの説明を抽出・比較可能か？
• RQ4 バギングによる複数の異常検出器の統合は、クレーブ・ハンス効果を軽減し、検出性能と一般化性能を向上させるか？
• RQ5 アンサンブルモデルにおける説明の特徴カバー範囲は、個々のモデルと比較して、真の異常領域との整合性においてどのように異なるか？

主な発見

• クレーブ・ハンス効果は、異常検出モデルに広く見られ、各モデルが固有の構造的要因に起因する戦略を採用し、関係のない特徴に依存している。
• MNIST-CおよびMVTecデータセットを横断的に分析した結果、異常検出におけるクレーブ・ハンス効果は、主にモデルアーキテクチャに起因するものであり、データ由来の余計な相関とは異なることが確認された。
• バギングによる異常検出器は、ROC AUCスコアが低いにもかかわらず、クレーブ・ハンス行動が軽減されるため、ロバスト性と一般化性能において個々のモデルを上回る。
• バギングモデルの説明は、より広範かつ多様な特徴をカバーしており、真の異常領域とのIoUが高いため、真の異常領域とより整合性が高くなっている。
• MVTecの全クラスにわたる平均クレーブ・ハンススコアは、バギングモデルが個々のモデルよりも顕著に低く、余計な特徴への依存が減少していることが確認された。
• 統一されたXAIフレームワークは、モデル間での説明比較とモデル行動の定量化に成功し、従来の評価手法では見えなかった構造的欠陥を明らかにした。