[논문 리뷰] AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning

Yuening Li, Zhengzhang Chen외 5명|arXiv (Cornell University)|2020. 06. 19.

Anomaly Detection Techniques and Applications참고 문헌 65인용 수 15

한 줄 요약

AutoOD는 비지도 설정에서 최적의 딥 네ural 네트워크 아키텍처를 탐색하기 위해 호기심 유도 강화 학습과 자기 모방 학습을 사용하는 새로운 자동 이상치 탐지 프레임워크이다. 이 프레임워크는 이상치 탐지에서의 불안정성, 국소 최적점, 낮은 샘플 효율성 문제를 해결함으로써 벤치마크 데이터셋에서 수작업으로 설계된 모델과 전통적인 NAS 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Outlier detection is an important data mining task with numerous practical applications such as intrusion detection, credit card fraud detection, and video surveillance. However, given a specific complicated task with big data, the process of building a powerful deep learning based system for outlier detection still highly relies on human expertise and laboring trials. Although Neural Architecture Search (NAS) has shown its promise in discovering effective deep architectures in various domains, such as image classification, object detection, and semantic segmentation, contemporary NAS methods are not suitable for outlier detection due to the lack of intrinsic search space, unstable search process, and low sample efficiency. To bridge the gap, in this paper, we propose AutoOD, an automated outlier detection framework, which aims to search for an optimal neural network model within a predefined search space. Specifically, we firstly design a curiosity-guided search strategy to overcome the curse of local optimality. A controller, which acts as a search agent, is encouraged to take actions to maximize the information gain about the controller's internal belief. We further introduce an experience replay mechanism based on self-imitation learning to improve the sample efficiency. Experimental results on various real-world benchmark datasets demonstrate that the deep model identified by AutoOD achieves the best performance, comparing with existing handcrafted models and traditional search methods.

연구 동기 및 목표

• 비지도 이상치 탐지에 대한 자동화되고 효율적이며 안정적인 신경망 아키텍처 탐색의 부족을 해결한다.
• 이상치 탐지에서의 데이터 불균형, 불안정한 탐색 과정, 낮은 샘플 효율성 문제를 극복한다.
• 모델 아키텍처 하이퍼파라미터 외에도 이상치 정의 가설과 그에 해당하는 목적 함수를 포함하는 맞춤형 탐색 공간을 설계한다.
• 기존 NAS에서의 가중치 공유로 인한 국소 최적점과 인식 편향을 줄임으로써 탐색 과정을 안정화시킨다.
• 자기 모방 학습과 경험 재생을 통해 샘플 효율성을 향상시켜 수렴 속도와 모델 성능을 가속화한다.

제안 방법

• 내부 신뢰에 대한 정보 수익을 최대화함으로써 탐색 공간의 탐색되지 않은 영역을 탐색하도록 유도하는 호기심 유도 탐색 전략을 제안한다.
• 계층적이고 일반적인 탐색 공간에서 아키텍처를 샘플링하기 위해 순환 신경망 기반의 강화 학습 기반 컨트롤러를 사용한다.
• 높은 성능을 보인 탐색 경로를 재사용함으로써 샘플 효율성을 향상시키기 위해 경험 재생을 통한 자기 모방 학습 메커니즘을 도입한다.
• 전역 모델 설정과 각 레이어의 하이퍼파라미터(예: 커널 크기, 필터 수) 외에도 이상치 정의 전략과 목적 함수를 포함하는 마이크로 탐색 공간을 정의한다.
• 이상치 탐지 성능(예: AUC) 기반의 보상 함수를 사용하여 이산적이고 고차원적인 탐색 공간 내에서 컨트롤러의 탐색을 이끌어낸다.
• 탐색 중 자식 모델의 효율적 훈련을 위해 가중치 공유를 통합하면서도, 호기심 기반 탐색을 통해 그로 인한 편향을 최소화한다.

실험 결과

연구 질문

• RQ1 클래스 레이블이 전혀 없는 비지도 이상치 탐지에 대해 신경망 아키텍처 탐색을 어떻게 효과적으로 적응시킬 수 있는가?
• RQ2 어떤 탐색 공간 설계가 아키텍처 구성과 이상치 정의 전략의 효과적인 탐색을 가능하게 하는가?
• RQ3 호기심 기반 탐색은 불균형한 이상치 탐지 작업에서 탐색 과정의 안정성을 어떻게 높이고 조기 수렴을 방지하는가?
• RQ4 자기 모방 학습은 자동 이상치 탐지에서 샘플 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 자동화 프레임워크가 수작업으로 설계된 모델과 전통적인 NAS 방법보다 이상치 탐지 벤치마크에서 뛰어난 성능을 발휘할 수 있는가?

주요 결과

• AutoOD는 인스턴스 수준 이상치 탐지와 픽셀 수준 결함 세그멘테이션에 대해 여덟 개의 실제 벤치마크 데이터셋에서 최고 성능을 달성한다.
• 자기 모방 학습과 경험 재생을 활용함으로써 샘플 효율성이 크게 향상되어 필요한 훈련 반복 수가 감소한다.
• 호기심 기반 탐색 전략은 국소 최적점과 가중치 공유로 인한 편향을 효과적으로 줄여 더 강건하고 다양한 아키텍처 탐색을 가능하게 한다.
• 탐색 공간에 이상치 정의 가설과 목적 함수를 포함시킴으로써 데이터 분포와 더 잘 일치하는 모델을 탐색할 수 있었다.
• 다양한 데이터셋에서 AUC와 F1 스코어 측면에서 AutoOD는 수작업으로 설계된 딥 모델과 전통적인 NAS 방법을 모두 초월한다.
• 광범위한 아블레이션 연구를 통해 제안된 탐색 공간 설계와 자기 모방 메커니즘이 성능 향상에 핵심적인 역할을 한다는 점을 확인했다.