[論文レビュー] Towards Meaningful Anomaly Detection: The Effect of Counterfactual Explanations on the Investigation of Anomalies in Multivariate Time Series

Max Schemmer, Joshua Holstein+3 more|arXiv (Cornell University)|Feb 7, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

この研究は、自動エンコーダベースの異常検知に対する反実仮想説明が multivariate time series における人間の異常調査を改善することを、NYC タクシーデータに基づく行動実験で実証した。

ABSTRACT

Detecting rare events is essential in various fields, e.g., in cyber security or maintenance. Often, human experts are supported by anomaly detection systems as continuously monitoring the data is an error-prone and tedious task. However, among the anomalies detected may be events that are rare, e.g., a planned shutdown of a machine, but are not the actual event of interest, e.g., breakdowns of a machine. Therefore, human experts are needed to validate whether the detected anomalies are relevant. We propose to support this anomaly investigation by providing explanations of anomaly detection. Related work only focuses on the technical implementation of explainable anomaly detection and neglects the subsequent human anomaly investigation. To address this research gap, we conduct a behavioral experiment using records of taxi rides in New York City as a testbed. Participants are asked to differentiate extreme weather events from other anomalous events such as holidays or sporting events. Our results show that providing counterfactual explanations do improve the investigation of anomalies, indicating potential for explainable anomaly detection in general.

研究の動機と目的

• 説明が検知だけでなくその後の異常調査をどう支援できるかを動機づける。
• 反実仮想説明が異常調査の性能を改善するかを評価する。
• 説明が異常調査時の余分な認知負荷を軽減するかを評価する。
• multivariate time series における反実仮想説明の人間研究を通じた適用性を示す。

提案手法

• LSTM 層と再構成誤差を用いた multivariate time series の説明可能なオートエンコーダを開発し、異常検知を行う。
• 反実仮想説明層をオートエンコーダに拡張し、XAI フレームワークに適したクラス確率を生成する。
• 特徴変更を最小化する反実仮想説明を生成するために CoMTE フレームワークを適用する。
• NYC タクシー データから抽出した eight 件の異常例を用いたオンライン実験を被験者間設計で設計・実施する。
• 対照条件（ counterfactuals を用いない ADS ）と反実仮想説明条件を比較する。
• 有効性（正確性）、効率性（タスク時間）、および余分な認知負荷を測定する。

実験結果

リサーチクエスチョン

• RQ1 異常検知の説明は異常調査を改善できるか。
• RQ2 反実仮想説明は異常調査の効率を改善するか。
• RQ3 説明は異常調査時の余分な認知負荷を減らすか。
• RQ4 認知負荷は調査の有効性と効率性にどう関連するか。

主な発見

• 反実仮想説明は説明なしと比較して異常調査を改善する。
• 本研究は 66 名の参加者（条件ごとに 33 名）を用い、各参加者につき eight 件の異常イベントを分析した。
• 反実仮想説明は余分な認知負荷を低減し、調査のパフォーマンスと効率性の改善に寄与した。
• 説明はユーザーが関連特徴を局在化し、典型値がどのように見えるかの文脈を提供して、極端な天候イベントと祝日を区別するのに役立つ。