[論文レビュー] LSCP: Locally Selective Combination in Parallel Outlier Ensembles

Yue Zhao, Zain Nasrullah+2 more|arXiv (Cornell University)|Dec 4, 2018

Cellular Automata and Applications被引用数 18

ひとこと要約

LSCPは、各テストインスタンスの周囲でランダムな特徴部分空間内の最近傍のコンSENSUSを用いて、局所的に最も有能なベース検出器を選択・結合する、非教師付き異常検出フレームワークを提案する。LSCP_AOMは、13個の20の実世界データセットでROC-AUC、14個の20のデータセットでmAPで最高を記録し、局所的能⼒評価と2段階目の平均化による分散低減のおかげで、既存の並列アンサンブル手法を上回る性能を発揮する。

ABSTRACT

In unsupervised outlier ensembles, the absence of ground truth makes the combination of base outlier detectors a challenging task. Specifically, existing parallel outlier ensembles lack a reliable way of selecting competent base detectors, affecting accuracy and stability, during model combination. In this paper, we propose a framework---called Locally Selective Combination in Parallel Outlier Ensembles (LSCP)---which addresses the issue by defining a local region around a test instance using the consensus of its nearest neighbors in randomly selected feature subspaces. The top-performing base detectors in this local region are selected and combined as the model's final output. Four variants of the LSCP framework are compared with seven widely used parallel frameworks. Experimental results demonstrate that one of these variants, LSCP_AOM, consistently outperforms baselines on the majority of twenty real-world datasets.

研究の動機と目的

• 非教師付き並列異常検出アンサンブルにおける信頼性の低いベース検出器選択の欠如に取り組むこと。
• グローバル評価に依存するのではなく、検出器結合におけるデータの局所性に注目することで、モデルの精度と安定性を向上させること。
• 教師あり学習における動的分類器選択（DCS）の原則を非教師付き異常検出に適応し、インスタンス固有の検出器選択を実現すること。
• 多様なベース検出器と互換性があり、一般化可能で解釈可能かつ安定したフレームワークを構築し、実世界のデータセットで検証すること。
• 理論的分析、可視化、統計的検定を通じて、モデルの解釈性を向上させること。

提案手法

• ランダムに選択された特徴部分空間における各テストインスタンスのk個の最近傍のコンセンサスを用いて、その周囲の局所的領域を定義する。
• この局所的領域内での各ベース検出器の能⼒を、アンサンブルによる疑似真のラベルと比較して、その異常スコアを測定する。
• 局所的スコアの最大化（LSCP_M）または平均化（LSCP_A）を用いて、局所的領域内で上位の性能を示すベース検出器を選択する。
• 上位検出器のスコアを平均化する2段階目の結合を適用することで、分散をさらに低減し、バイアスを改善する（例：LSCP_AOM）。
• 局所的検出器のパフォーマンス評価に、ベース検出器スコアの平均化または最大化によって生成された疑似真のラベルを用いる。
• 選択および結合戦略の違いにより、4つのバリエーション（LSCP_M、LSCP_A、LSCP_MOA、LSCP_AOM）を実装する。

実験結果

リサーチクエスチョン

• RQ1 ランダムサブスペース内の最近傍に基づく局所的検出器選択は、非教師付きアンサンブルにおける異常検出性能を向上させることができるか？
• RQ2 検出器結合におけるデータの局所性に注目することで、グローバルアンサンブル平均化と比較して、より高い精度と安定性が得られるか？
• RQ3 LSCP_AOMにおける2段階目の平均化は、単一段階目の選択と比較して、バイアスと分散の低減にどの程度寄与するか？
• RQ4 どのようなデータ環境下でLSCPはグローバル平均化（GG）手法を上回るか。特に、局所的パターンと分散パターンを示す異常に対してどう異なるか？
• RQ5 LSCPフレームワークは多様なベース検出器に一般化可能であり、真のラベルが存在しない状況でも有効に機能するか？

主な発見

• LSCP_AOMは20の実世界データセットのうち13個で最高のROC-AUCを達成し、優れた全体的なパフォーマンスを示した。
• LSCP_AOMは20のデータセットのうち14個で最高のmAPを記録し、特にBreastw、Cardio、Satimage-2、Thyroidで顕著な改善が見られた。
• t-SNEプロットによる可視化で、LSCPは局所的な異常クラスタの検出においてGGベースラインを上回ったことが確認された。
• Letterデータセットでは、分散した異常が局所的クラスタを形成しなかったため、LSCPはGG_Mより性能が悪く、異常分布および局所的領域サイズへの感受性が示された。
• LSCP_AOMにおける2段階目の平均化は顕著な性能向上をもたらしたが、LSCP_MOAはLSCP_AやGG_MOAを上回らなかった。これは、初期の平均化による情報損失が、後の平均化の恩恵を減少させることを示唆している。
• LSCPは異常が局所的クラスタを形成する場合に最も効果的であり、特にVowels や Letter のような低異常率データセットでは、異常割合に応じて適切に調整された局所的領域サイズ（例：小さな領域）が重要である。