[논문 리뷰] Anomalous Instance Detection in Deep Learning: A Survey.

Saikiran Bulusu, Bhavya Kailkhura외 3명|arXiv (Cornell University)|2020. 03. 16.

Anomaly Detection Techniques and Applications참고 문헌 71인용 수 29

한 줄 요약

이 종합 검토는 딥러닝을 위한 후행 이상 탐지 기법에 대해 체계적이고 포괄적인 개요를 제공하며, 기반 가정과 접근 방식에 따라 기법을 분류한다. 강점, 약점 및 연구 격차를 분석하여 딥러닝 시스템에서 분포 외 및 적대적 입력에 대한 강건성 향상을 위한 길잡이를 제시한다.

ABSTRACT

Deep Learning (DL) is vulnerable to out-of-distribution and adversarial examples resulting in incorrect outputs. To make DL more robust, several posthoc anomaly detection techniques to detect (and discard) these anomalous samples have been proposed in the recent past. This survey tries to provide a structured and comprehensive overview of the research on anomaly detection for DL based applications. We provide a taxonomy for existing techniques based on their underlying assumptions and adopted approaches. We discuss various techniques in each of the categories and provide the relative strengths and weaknesses of the approaches. Our goal in this survey is to provide an easier yet better understanding of the techniques belonging to different categories in which research has been done on this topic. Finally, we highlight the unsolved research challenges while applying anomaly detection techniques in DL systems and present some high-impact future research directions.

연구 동기 및 목표

• 딥러닝에서 후행 이상 탐지 기법에 대한 체계적이고 포괄적인 개요를 제공하기 위해.
• 기반 가정과 채택된 접근 방식에 따라 기존 기법을 분류하기 위해.
• 다양한 이상 탐지 기법의 상대적 강점과 약점을 분석하기 위해.
• 딥러닝 시스템에 이상 탐지를 적용할 때 아직 해결되지 않은 연구 과제를 규명하기 위해.
• 모델의 강건성 향상을 위한 고영향력 있는 미래 연구 방향을 제시하기 위해.

제안 방법

• 논문은 기반 가정과 접근 방식에 기반하여 이상 탐지 기법의 분류 체계를 수립한다.
• 기법을 복원 기반, 불확실성 추정, 이상치 탐지 기법 등의 카테고리로 분류한다.
• 탐지 정확도, 계산 비용, 데이터 분포 간 일반화 능력 등의 기준을 사용해 기법을 평가한다.
• 분포 외 및 적대적 예제 탐지 능력 측면에서 기법을 비교한다.
• 기존 문헌의 이론적 및 실증적 통찰을 포함한 분석을 수행한다.
• 발견된 결과를 종합하여 방법론적 트레이드오프와 열린 과제를 부각시킨다.

실험 결과

연구 질문

• RQ1 딥러닝에서의 다양한 이상 탐지 기법은 기반 가정과 설계 원리에서 어떻게 상이한가?
• RQ2 복원 기반, 불확실성 기반, 이상치 탐지 기반 기법은 비정상 입력을 식별할 때 상대적으로 어떤 강점과 약점을 가지는가?
• RQ3 실제 딥러닝 시스템에 이상 탐지 기법을 구현할 때의 주요 과제는 무엇인가?
• RQ4 다양한 데이터 분포에 일반화하는 데 가장 유망한 기법은 무엇인가?
• RQ5 딥러닝 이상 탐지 분야에서 가장 중요한 해결되지 않은 연구 문제와 미래 방향은 무엇인가?

주요 결과

• 이 검토는 복원 기반 기법이 분포 외 샘플 탐지에 효과적이지만 고차원 데이터에서는 어려움을 겪을 수 있음을 규명한다.
• 불확실성 추정 기법은 특히 활성 학습과 OOD 탐지에서 모델의 불확실성을 식별하는 데 뛰어난 성능을 보인다.
• 거리 또는 밀도 기반 이상치 탐지 기법은 차원의 저주로 인해 고차원 잠재 공간에서 종종 실패한다.
• 모든 상황에서 우월한 기법은 존재하지 않으며, 성능은 데이터 분포와 모델 아키텍처에 따라 크게 달라진다.
• 다양하고 예측할 수 없는 데이터 분포 간 신뢰할 수 있는 일반화를 달성하는 데 여전히 주요 과제가 남아 있다.
• 논문은 표준화된 벤치마크와 평가 프로토콜이 기법 간 공정한 비교를 가능하게 하기 위해 필요하다고 강조한다.