[논문 리뷰] Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution

Xueying Ding, Lingxiao Zhao외 1명|arXiv (Cornell University)|2022. 06. 15.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 다양한 하이퍼파라미터 설정에서 학습된 오토인코더의 예측을 통합함으로써 하이퍼파라미터 민감도를 완화하는 확장 가능한 딥 하이퍼앙상블인 RobOD를 소개한다. 파라미터 공유, 배치 학습, 데이터 서브샘플링을 통해 RobOD는 난이도 있는 앙상블에 비해 90–98% 빠른 훈련 속도를 달성하면서도 다양한 데이터셋과 랜덤 초기화 설정에서 강인하고 변동이 적은 성능을 유지한다.

ABSTRACT

Outlier detection (OD) literature exhibits numerous algorithms as it applies to diverse domains. However, given a new detection task, it is unclear how to choose an algorithm to use, nor how to set its hyperparameter(s) (HPs) in unsupervised settings. HP tuning is an ever-growing problem with the arrival of many new detectors based on deep learning, which usually come with a long list of HPs. Surprisingly, the issue of model selection in the outlier mining literature has been "the elephant in the room"; a significant factor in unlocking the utmost potential of deep methods, yet little said or done to systematically tackle the issue. In the first part of this paper, we conduct the first large-scale analysis on the HP sensitivity of deep OD methods, and through more than 35,000 trained models, quantitatively demonstrate that model selection is inevitable. Next, we design a HP-robust and scalable deep hyper-ensemble model called ROBOD that assembles models with varying HP configurations, bypassing the choice paralysis. Importantly, we introduce novel strategies to speed up ensemble training, such as parameter sharing, batch/simultaneous training, and data subsampling, that allow us to train fewer models with fewer parameters. Extensive experiments on both image and tabular datasets show that ROBOD achieves and retains robust, state-of-the-art detection performance as compared to its modern counterparts, while taking only $2$-$10$\% of the time by the naive hyper-ensemble with independent training.

연구 동기 및 목표

• 다양한 아키텍처와 데이터셋에서 딥 이상 탐지 모델의 하이퍼파라미터 민감도를 체계적으로 분석하는 것.
• 딥 이상 탐지에서 비지도 모델 선택의 부족이 여전히 중요한 문제이지만 연구가 부족한 병목 현상임을 해결하는 것.
• 하이퍼파라미터 튜닝이 필요 없도록 강인하고 확장 가능한 하이퍼앙상블 솔루션을 설계하는 것.
• 모델 성능을 유지하면서도 계산 비용을 크게 줄일 수 있는 새로운 훈련 전략을 개발하는 것.
• 다양한 하이퍼파라미터 설정을 통해 앙상블의 강인성이 달성될 수 있음을 보여주는 것, 즉 더 적은 모델과 파라미터로도 가능하다는 것.

제안 방법

• 다양한 하이퍼파라미터 설정으로 학습된 여러 오토인코더의 예측을 통합하는 딥 하이퍼앙상블인 RobOD를 제안한다.
• 파라미터 공유를 통해 다양한 깊이의 모델을 동시에 학습할 수 있도록 스킵 커넥션을 갖춘 오토인코더를 사용한다.
• 공유된 파라미터에 대해 제로 마스킹을 적용하여 병렬/동시 학습을 통해 여러 너비 설정을 처리한다.
• 성능 안정성을 유지하면서도 훈련 비용을 줄이기 위해 데이터 서브샘플링을 적용한다.
• 배치 앙상블 메커니즘을 활용하여 단일 아키텍처에서 암묵적으로 많은 수의 서브모델을 생성한다.
• 모델 점수를 평균화하여 최종적으로 강인한 이상 탐지 점수를 도출한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 데이터셋에서 딥 이상 탐지 모델은 하이퍼파라미터 설정에 얼마나 민감한가?
• RQ2 비지도 이상 탐지에서 하이퍼파라미터 튜닝이 필요 없도록 하이퍼앙상블 접근법이 효과적으로 작용할 수 있는가?
• RQ3 성능을 훼손하지 않으면서도 하이퍼앙상블 훈련의 계산 비용을 크게 줄일 수 있는 훈련 전략은 무엇인가?
• RQ4 서브모델 수와 하이퍼파라미터 범위의 변화가 앙상블의 강인성과 안정성에 어떤 영향을 미치는가?
• RQ5 난이도 있는 앙상블에 비해 훨씬 적은 훈련 시간으로도 하이퍼앙상블이 최신 기술 성능(SOTA)을 달성할 수 있는가?

주요 결과

• 4개의 딥 이상 탐지 패밀리에서 35,000개 이상의 모델 실행을 수행한 결과, 하이퍼파라미터 민감도는 광범위하게 존재하며 모델 선택은 피할 수 없다는 것이 입증되었다.
• Cardio 데이터셋에서 RobOD는 평균 AUROC 93.5±0.1을 기록하여 모든 벤치마크 모델을 능가했으며, 랜덤 초기화 설정 간 변동성이 낮았다.
• 파라미터 공유와 동시 학습을 통해 RobOD는 동일한 앙상블을 독립적으로 학습하는 것에 비해 훈련 시간을 90–98% 감소시켰다.
• 학습률, 드롭아웃, 가중치 감쇠 등의 하이퍼파라미터 범위를 넓히고 서브모델 수를 늘림으로써 강인성과 성능 안정성이 향상되었다.
• 단지 191개의 서브모델만으로도 확장된 가중치 감쇠 범위에서 AUROC 94.0±0.0을 달성하여 표준 설정을 능가했다.
• 이미지 및 테이블 형식의 다양한 데이터 유형, 초기화 설정, 하이퍼파라미터 범위에서도 RobOD의 성능은 안정적이고 경쟁력 있었으며, 강인성을 확인했다.