[论文解读] Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution

Xueying Ding, Lingxiao Zhao+1 more|arXiv (Cornell University)|Jun 15, 2022

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出 RobOD，一种可扩展的深度超集成模型，用于异常检测，通过聚合使用多样化超参数配置训练的自编码器的预测结果，减轻了超参数敏感性。借助参数共享、批量训练和数据子采样，RobOD 在训练速度上比朴素集成快 90–98%，同时在不同数据集和随机初始化下保持了稳健且低方差的结果。

ABSTRACT

Outlier detection (OD) literature exhibits numerous algorithms as it applies to diverse domains. However, given a new detection task, it is unclear how to choose an algorithm to use, nor how to set its hyperparameter(s) (HPs) in unsupervised settings. HP tuning is an ever-growing problem with the arrival of many new detectors based on deep learning, which usually come with a long list of HPs. Surprisingly, the issue of model selection in the outlier mining literature has been "the elephant in the room"; a significant factor in unlocking the utmost potential of deep methods, yet little said or done to systematically tackle the issue. In the first part of this paper, we conduct the first large-scale analysis on the HP sensitivity of deep OD methods, and through more than 35,000 trained models, quantitatively demonstrate that model selection is inevitable. Next, we design a HP-robust and scalable deep hyper-ensemble model called ROBOD that assembles models with varying HP configurations, bypassing the choice paralysis. Importantly, we introduce novel strategies to speed up ensemble training, such as parameter sharing, batch/simultaneous training, and data subsampling, that allow us to train fewer models with fewer parameters. Extensive experiments on both image and tabular datasets show that ROBOD achieves and retains robust, state-of-the-art detection performance as compared to its modern counterparts, while taking only $2$-$10$\% of the time by the naive hyper-ensemble with independent training.

研究动机与目标

• 系统分析不同架构和数据集下深度异常检测模型对超参数设置的敏感性。
• 解决深度 OD 中缺乏无监督模型选择的问题，该问题仍是关键但研究不足的瓶颈。
• 设计一种鲁棒且可扩展的超集成解决方案，以绕过超参数调优的需要。
• 开发新型训练策略，显著降低计算成本，同时保持模型性能。
• 证明通过多样化超参数配置，即使模型和参数数量较少，也能实现集成的鲁棒性。

提出的方法

• 提出 RobOD，一种深度超集成模型，通过聚合使用不同超参数设置训练的多个自编码器的预测结果。
• 采用带有跳跃连接的自编码器，通过参数共享联合训练不同深度的模型。
• 通过在共享参数上应用零掩码，实现多个宽度配置的批量/同时训练。
• 应用数据子采样以降低训练成本，同时保持性能稳定性。
• 利用 BatchEnsemble 机制，从单一架构隐式生成大量子模型。
• 通过平均聚合模型得分，生成最终的鲁棒异常得分。

实验结果

研究问题

• RQ1 深度异常检测模型在不同架构和数据集下对超参数设置的敏感性如何？
• RQ2 超集成方法能否有效绕过无监督异常检测中对超参数调优的需求？
• RQ3 哪些训练策略能显著降低超集成训练的计算成本，同时不牺牲性能？
• RQ4 子模型数量和超参数范围的变化如何影响集成的鲁棒性和稳定性？
• RQ5 超集成能否在远少于朴素集成所需训练时间的情况下实现最先进性能？

主要发现

• 本研究在四个深度 OD 家族中进行了超过 35,000 次模型运行，表明超参数敏感性普遍存在，模型选择不可避免。
• RobOD 在 Cardio 数据集上实现了 93.5±0.1 的平均 AUROC，优于所有基准模型，并在不同随机初始化下表现出更低的方差。
• 通过参数共享和联合训练，RobOD 相较于相同集成的独立训练，将训练时间减少了 90–98%。
• 扩大超参数范围（如初始学习率、Dropout、权重衰减）并增加子模型数量，可提升鲁棒性和性能稳定性。
• 即使仅使用 191 个子模型，RobOD 在扩展的权重衰减范围内仍实现了 94.0±0.0 AUROC，优于标准配置。
• RobOD 在不同数据类型（图像与表格）、初始化方式和超参数范围下均保持稳定且具有竞争力的性能，证实了其鲁棒性。