[論文レビュー] A Large-scale Study on Unsupervised Outlier Model Selection: Do Internal Strategies Suffice?

Quintín Martín Martín, Yue Zhao+2 more|arXiv (Cornell University)|Apr 3, 2021

Anomaly Detection Techniques and Applications参考文献 38被引用数 5

ひとこと要約

本稿は、教師なし外れ値モデル選択（UOMS）に関する大規模な実験的調査を実施し、297のモデルと39の実世界データセットを用いて、7種類の内部モデル評価戦略（単体型およびコンSENSUS型）を評価した。コンSENSUS型手法はランダム選択を上回るが、すべての手法がランダムハイパーパrameterを設定した単一のiForestモデルの性能を上回ることはできず、UOMS手法における大幅な改善の余地が明らかになった。

ABSTRACT

Given an unsupervised outlier detection task, how should one select a detection algorithm as well as its hyperparameters (jointly called a model)? Unsupervised model selection is notoriously difficult, in the absence of hold-out validation data with ground-truth labels. Therefore, the problem is vastly understudied. In this work, we study the feasibility of employing internal model evaluation strategies for selecting a model for outlier detection. These so-called internal strategies solely rely on the input data (without labels) and the output (outlier scores) of the candidate models. We setup (and open-source) a large testbed with 39 detection tasks and 297 candidate models comprised of 8 detectors and various hyperparameter configurations. We evaluate 7 different strategies on their ability to discriminate between models w.r.t. detection performance, without using any labels. Our study reveals room for progress -- we find that none would be practically useful, as they select models only comparable to a state-of-the-art detector (with random configuration).

研究の動機と目的

• 教師なし（内部）モデル評価戦略の有効性を、正解ラベルなしで外れ値検出モデルを選択するうえで評価すること。
• 既存のUOMS手法が、ランダム選択や最先端の検出器を上回るモデルを信頼性を持って選択できるかを特定すること。
• 統一的かつ大規模なベンチマーク上で、単体型およびコンSENSUS型アプローチを含む多様な内部戦略を体系的に比較すること。
• 現在のUOMS技術の限界を明らかにし、メタラーニングおよびコンSENSUS駆動型モデル選択に関する今後の研究を促すこと。
• 297のモデルと39のデータセットを含む大規模でオープンソースのテストベッドを公開し、教師なしモデル選択分野の研究を加速すること。

提案手法

• 公的リポジトリから入手可能な39の実世界データセットを用い、8つの最先端の外れ値検出器と297のハイパーパramータ設定を含む大規模なテストベッドを構築した。
• 7種類の内部モデル選択戦略を評価した：3つの既存のUOMS手法（IREOS、EM/MV、UDR）、2つの深層表現学習技術（Duan et al., 2020；Lin et al., 2020）、および真の発見とアンサンブル学習にインspiredされた2つの新規コンSENSUS型手法（MC、HITS、Ens、MC_S）。
• AUC-PR、AUC-ROC、APを評価指標として用い、ペアド統計的検定（Wilcoxon signed-rank）を用いて戦略間のモデル選択性能を比較した。
• モデルプール内の予測を統合するコンSENSUS型手法を適用し、一致パターンを活用してモデルをランク付けした。
• 特にIREOS や MC といった計算コストの高い手法の効率を評価するため、実行時間を測定した。
• 元々クラウドソーシングおよび真の発見分野で開発された共通手法（例：NDCGベースのランク付け、HITS、アンサンブル疑似尤度）をUOMSに再利用・適応した。

実験結果

リサーチクエスチョン

• RQ1 既存のUOMS用内部モデル評価戦略は、ランダム選択や最先端の検出器を上回るモデルを信頼性を持って選択できるか？
• RQ2 複数のモデル間の一致を活用するコンSENSUS型モデル選択戦略は、教師なし外れ値モデル選択において、単体型手法を有意に上回るか？
• RQ3 選択されたモデルの性能は、本研究における強力なベースラインであるiForest（ランダムハイパーパramータ）と比較してどうか？
• RQ4 異なるUOMS戦略の計算コストはどの程度か？ また、HITS や Ens のような高速手法は、精度を犠牲にせず競争力のある性能を達成できるか？
• RQ5 任意のUOMS手法が選択した最良モデルと、各データセットにおける実際の最良モデルとの間に顕著な性能差があるか？

主な発見

• 外れ値検出に特化した3つの既存UOMS手法（IREOS、EM/MV、UDR）は、いずれもランダム選択を有意に上回らなかった。これは、実用的効果の欠如を示している。
• すべてのコンSENSUS型UOMS手法（MC、HITS、Ens、MC_S）はランダム選択を有意に上回ったが、iForest（ランダムハイパーパramータ）と統計的に差がなかった。
• コンSENSUS型手法の性能はiForest-rと同等であり、データセット全体にわたって性能差がほぼゼロに集中していた。これは、単一のiForestモデルを上回る有意義な改善が見られないことを示唆している。
• IREOSは唯一、ランダム選択を有意に上回る性能を示したが、その恩恵は極めて高い計算コストに見合わされた。最大のデータセット（ALOI）では16日以上を要した。
• MCは計算コストが高く（モデル数に二次的に依存）、一方HITS、Ens、MC_Sはいずれも高速（ALOIで10分未満）かつ競争力があり、実用的候補として適している。
• 本研究では、各データセットにおける最良モデルと、任意のUOMS手法が選択した最良モデルとの間に顕著な性能ギャップが確認され、教師なしモデル選択分野における今後の改善の余地が大きいことが明らかになった。