[論文レビュー] Contextual Outlier Interpretation

Ninghao Liu, DongHwa Shin+1 more|arXiv (Cornell University)|Nov 28, 2017

Anomaly Detection Techniques and Applications参考文献 40被引用数 13

ひとこと要約

本稿では、異常属性、外れ値度スコア、対照的近傍コンテキストの3つの要素を通じて外れ値を解釈する、モデルに依存しないフレームワークであるContextual Outlier INterpretation (COIN) を提案する。解釈を局所的分類タスクの系列として定式化することにより、COINは多様なデータセットおよび検出手法において、統一的かつ解釈可能な外れ値検出器の評価を可能にする。

ABSTRACT

Outlier detection plays an essential role in many data-driven applications to identify isolated instances that are different from the majority. While many statistical learning and data mining techniques have been used for developing more effective outlier detection algorithms, the interpretation of detected outliers does not receive much attention. Interpretation is becoming increasingly important to help people trust and evaluate the developed models through providing intrinsic reasons why the certain outliers are chosen. It is difficult, if not impossible, to simply apply feature selection for explaining outliers due to the distinct characteristics of various detection models, complicated structures of data in certain applications, and imbalanced distribution of outliers and normal instances. In addition, the role of contrastive contexts where outliers locate, as well as the relation between outliers and contexts, are usually overlooked in interpretation. To tackle the issues above, in this paper, we propose a novel Contextual Outlier INterpretation (COIN) method to explain the abnormality of existing outliers spotted by detectors. The interpretability for an outlier is achieved from three aspects: outlierness score, attributes that contribute to the abnormality, and contextual description of its neighborhoods. Experimental results on various types of datasets demonstrate the flexibility and effectiveness of the proposed framework compared with existing interpretation approaches.

研究の動機と目的

• ブラックボックスモデルや複雑なデータ構造において、外れ値検出の解釈可能性の欠如に対処すること。
• 特定のインスタンスが外れ値としてフラグ付けられる理由を説明する、統一的でモデルに依存しないフレームワークを提供すること。
• 異常属性、外れ値度スコア、コンテキスト的な対照的近傍を、1つの解釈性フレームワークに統合すること。
• 集約された解釈メトリクスを通じて、外れ値検出モデルの評価と比較を可能にすること。
• 特徴量の重要性に関するドメイン固有の事前知識を、解釈プロセスに統合すること。

提案手法

• COINは、外れ値の周囲のコンテキスト内での局所的分類タスクの系列として、外れ値の解釈を定式化する。
• 各外れ値の周囲の対照的コンテキスト上で、単純で解釈可能な分類器を訓練することで、異常属性を同定する。
• 分類器の信頼度から外れ値度スコアが導出され、それが明示的に異常特徴にリンクされる。
• 特徴量の寄与度とコンテキストに基づいて、異常度を定量化する新しい外れ値度スコアの定式化を採用する。
• 複数の外れ値にわたる解釈を集約することで、検出器の性能評価およびモデル選択の支援を可能にする。
• 特徴量の役割に関する事前知識を分類プロセスに統合し、ドメイン関連の特徴量に解釈を導くことができる。

実験結果

リサーチクエスチョン

• RQ1 多様でブラックボックスな外れ値検出モデルが検出した外れ値に対して、一貫性があり解釈可能な説明を提供する方法は何か？
• RQ2 局所的コンテキスト（例：近傍構造）は、外れ値の異常性を説明する上で果たす役割は何か？
• RQ3 特徴量の寄与度とコンテキストから、統一された外れ値度スコアを導出できるか？ これにより、検出器間の比較が可能になるか？
• RQ4 特徴量の重要性に関するドメイン固有の知識を、外れ値の解釈に統合する方法は何か？
• RQ5 複数の外れ値にわたる集約された解釈を用いることで、異なる外れ値検出モデルの性能を評価・比較できるか？

主な発見

• COINは、異常特徴、外れ値度スコア、コンテキスト的対照を用いて、包括的な解釈フレームワークを提供し、外れ値を効果的に解釈できた。
• 提案された外れ値度スコアは、異常特徴と外れ値度の度合いを明示的にリンクしており、検出器間での定量的比較を可能にした。
• 実世界および合成データセットを用いた実験により、COINが多様な検出手法からの外れ値を解釈する柔軟性と有効性を示した。
• 複数の外れ値からの集約的解釈により、外れ値検出モデルの性能評価が意味的に可能となり、モデル選択やパフォーマンスベンチマークの支援が可能になった。
• フレームワークはドメイン知識の統合をサポートしており、ユーザーが特定のアプリケーション文脈に合わせて解釈をカスタマイズできる。
• 事例研究により、COINの各要素—異常特徴、スコア、コンテキスト—が、検出された外れ値について実行可能で人間が理解可能なインサイトを提供することが確認された。