[論文レビュー] Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution

Xueying Ding, Lingxiao Zhao+1 more|arXiv (Cornell University)|Jun 15, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文では、多様なハイパーパrameter設定で訓練された自己符号化器からの予測を統合することで、ハイパーパrameterへの感受性を軽減するスケーラブルなディープハイパーエンsemble、RobODを紹介する。パラメータ共有、バッチ学習、データサブサンプリングを活用することで、単純なアンサンブルの2～10%の時間で最先端の性能を達成し、データセットやランダム初期化の違いに対しても、安定的かつ低分散の結果を維持する。

ABSTRACT

Outlier detection (OD) literature exhibits numerous algorithms as it applies to diverse domains. However, given a new detection task, it is unclear how to choose an algorithm to use, nor how to set its hyperparameter(s) (HPs) in unsupervised settings. HP tuning is an ever-growing problem with the arrival of many new detectors based on deep learning, which usually come with a long list of HPs. Surprisingly, the issue of model selection in the outlier mining literature has been "the elephant in the room"; a significant factor in unlocking the utmost potential of deep methods, yet little said or done to systematically tackle the issue. In the first part of this paper, we conduct the first large-scale analysis on the HP sensitivity of deep OD methods, and through more than 35,000 trained models, quantitatively demonstrate that model selection is inevitable. Next, we design a HP-robust and scalable deep hyper-ensemble model called ROBOD that assembles models with varying HP configurations, bypassing the choice paralysis. Importantly, we introduce novel strategies to speed up ensemble training, such as parameter sharing, batch/simultaneous training, and data subsampling, that allow us to train fewer models with fewer parameters. Extensive experiments on both image and tabular datasets show that ROBOD achieves and retains robust, state-of-the-art detection performance as compared to its modern counterparts, while taking only $2$-$10$\% of the time by the naive hyper-ensemble with independent training.

研究の動機と目的

• 異なるアーキテクチャとデータセットにおいて、ディープな異常検出モデルのハイパーパラメータ感受性を体系的かつ分析すること。
• ディープODにおける自己教師ありモデル選択の欠如に取り組み、依然として重要だが未だ十分に研究されていないボトル neck を解消すること。
• ハイパーパラメータチューニングの必要性を回避する、堅牢でスケーラブルなハイパーエンセムルソリューションを設計すること。
• 計算コストを著しく削減しながらもモデル性能を維持する、新たなトレーニング戦略を開発すること。
• 少数のモデルとパラメータでさえも、多様なハイパーパラメータ設定を用いることで、アンサンブルの堅牢性を達成できることを示すこと。

提案手法

• 異なるハイパーパラメータ設定で訓練された複数の自己符号化器からの予測を統合する、ディープハイパーエンセムルであるRobODを提案する。
• パラメータ共有を用いて、異なる深さのモデルを同時に学習するためのスキップ接続付き自己符号化器を採用する。
• 共有パラメータに対してゼロマスキングを適用することで、複数の幅設定をバッチ／同時にトレーニングする。
• トレーニングコストを削減しながらも性能の安定性を維持するため、データサブサンプリングを適用する。
• バッチエンセムル機構を活用して、1つのアーキテクチャから多数のサブモデルを暗黙的に生成する。
• モデルスコアを平均化することで、最終的な堅牢な異常スコアを生成する。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャとデータセットにおいて、ディープな異常検出モデルはハイパーパラメータ設定に対してどの程度感受性を示すか？
• RQ2 自己教師あり異常検出において、ハイパーエンセムルアプローチがハイパーパラメータチューニングの必要性を効果的に回避できるか？
• RQ3 ハイパーエンセムルトレーニングの計算コストを著しく削減するためのトレーニング戦略は何か？
• RQ4 サブモデルの数とハイパーパラメータの範囲が、アンサンブルの堅牢性と安定性に与える影響は何か？
• RQ5 単純なアンサンブルに比べて著しく短いトレーニング時間で、ハイパーエンセムルが最先端の性能を達成できるか？

主な発見

• 4つのディープODファミリーを対象に35,000回を超えるモデル実行を含む研究において、ハイパーパラメータ感受性が広範にわたり、モデル選択が避けられないことが示された。
• Cardioデータセットにおいて、RobODは平均AUROC 93.5±0.1を達成し、すべてのベンチマークモデルを上回り、ランダム初期化の違いに対しても分散が小さいことを示した。
• パラメータ共有と連合学習を活用することで、同じアンサンブルを個別にトレーニングする場合と比較して、トレーニング時間を90～98%短縮した。
• ハイパーパラメータ範囲の拡張（例：学習率、ドロップアウト、重み減衰）とサブモデル数の増加により、堅牢性と性能の安定性が向上した。
• わずか191個のサブモデルでも、重み減衰範囲を拡張した場合に94.0±0.0 AUROCを達成し、標準的な設定を上回った。
• 画像および表形式データの両方のデータタイプ、初期化、ハイパーパラメータ範囲に対して、RobODの性能は安定的かつ競争力を持ち続け、その堅牢性を確認した。