[論文レビュー] Explaining Anomalies Detected by Autoencoders Using SHAP

Liat Antwarg, Miller, Ronnie Mindlin+2 more|arXiv (Cornell University)|Mar 6, 2019

Anomaly Detection Techniques and Applications参考文献 36被引用数 83

ひとこと要約

本論文は、オートエンコーダが検出した異常を説明するモデルアグノスティックな Kernel SHAP 手法を提案し、再構成誤差が最も影響力のある特徴と結びつくことを示し、実世界のユーザ研究と合成データで検証する。

ABSTRACT

Anomaly detection algorithms are often thought to be limited because they don't facilitate the process of validating results performed by domain experts. In Contrast, deep learning algorithms for anomaly detection, such as autoencoders, point out the outliers, saving experts the time-consuming task of examining normal cases in order to find anomalies. Most outlier detection algorithms output a score for each instance in the database. The top-k most intense outliers are returned to the user for further inspection; however the manual validation of results becomes challenging without additional clues. An explanation of why an instance is anomalous enables the experts to focus their investigation on most important anomalies and may increase their trust in the algorithm. Recently, a game theory-based framework known as SHapley Additive exPlanations (SHAP) has been shown to be effective in explaining various supervised learning models. In this research, we extend SHAP to explain anomalies detected by an autoencoder, an unsupervised model. The proposed method extracts and visually depicts both the features that most contributed to the anomaly and those that offset it. A preliminary experimental study using real world data demonstrates the usefulness of the proposed method in assisting the domain experts to understand the anomaly and filtering out the uninteresting anomalies, aiming at minimizing the false positive rate of detected anomalies.

研究の動機と目的

• オートエンコーダベースの異常検知に対する専門家の信頼を高めるためのインスタンスごとの説明の必要性を動機づける。
• 内部アーキテクチャを知らずに機能するブラックボックスの説明手法を開発する。
• 高い再構成誤差を、異常スコアの最も責任ある特徴と結びつける。
• contribut ing and offsetting features を区別する視覚的および表形式の説明を提供する。
• 説明をユーザー調査、合成のグラウンドトゥルース実験、ロバスト性テスト、異常スコア操作を通じて評価する。

提案手法

• 再構成誤差 L(X,X') を、特徴ごとの誤差の二乗和として計算する。
• 説明の焦点を定めるため、各特徴について最も高い再構成誤差を示す topMfeatures を特定する。
• Kernel SHAP を用いて、各トップ特徴について、それがその再構成値 X'i を予測する際の SHAP 値を計算する。
• SHAP 値の極性と X と X' の比較を用いて、寄与する特徴（予測を真値から遠ざける）とオフセットする特徴（真値に向かわせる）を分割する。
• 説明を、寄与する特徴（赤）とオフセットする特徴（青）を示すカラー表として、各トップ特徴ごとに SHAP 値の大きさが重要度を示すように提示する。
• 代替アプローチと比較し、SHAP が全体の再構成誤差を説明する追加層を用いる場合の整合性を確認し、トップ特徴の一貫性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Kernel SHAP は、オートエンコーダーが検出した異常に対して信頼できるモデルアグノスティックな説明を提供できるか。
• RQ2 高い再構成誤差を説明する特徴とその相互作用はどれか。
• RQ3 SHAP ベースの説明は、この文脈で他の手法（LIME など）より真の寄与要因をより正確に反映するか。
• RQ4 説明は実世界データにおけるドメイン専門家の異常理解と検査効率を向上させるか。

主な発見

• 提案された SHAP ベースの説明は、オートエンコーダーが検出した異常に対して寄与する特徴とオフセットする特徴の両方を明らかにする。
• ドメイン専門家は、視覚的な説明が検査の際に最も重要な説明特徴に焦点を合わせるのに役立つと報告した。
• 合成のグラウンドトゥルース実験では、説明は SHAP を用いて異常の原因となる正確な特徴を正しく特定した。
• SHAP ベースの説明は、評価設定で LIME より堅牢であった。
• 説明は、実験で説明特徴を操作して異常スコアを低減するのに有効であった。
• 実データセット全体で、オートエンコーダの内部構造の知識を必要とせず、解釈性を向上させる方法として本手法が支持された。