[논문 리뷰] Robust Subspace Recovery Layer for Unsupervised Anomaly Detection

Chieh-Hsin Lai, Dongmian Zou외 1명|arXiv (Cornell University)|2019. 03. 30.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 28

한 줄 요약

이 논문은 재구성 오차와 RSR 오차를 교대 최적화를 통해 최소화함으로써 이미지 및 문서 데이터셋에서 최고 수준의 정밀도와 재현율을 달성하는 비지도 이상 탐지용 새로운 강건한 부분공간 복원 오토에인코더(RSRAE)를 제안한다. 강건한 부분공간 복원(RSR) 레이어를 오토에인코더 내에 통합하여 잠재 표현에서 선형 구조를 추출하면서 이상치를 걸러내는 것을 목표로 한다.

ABSTRACT

We propose a neural network for unsupervised anomaly detection with a novel robust subspace recovery layer (RSR layer). This layer seeks to extract the underlying subspace from a latent representation of the given data and removes outliers that lie away from this subspace. It is used within an autoencoder. The encoder maps the data into a latent space, from which the RSR layer extracts the subspace. The decoder then smoothly maps back the underlying subspace to a "manifold" close to the original inliers. Inliers and outliers are distinguished according to the distances between the original and mapped positions (small for inliers and large for outliers). Extensive numerical experiments with both image and document datasets demonstrate state-of-the-art precision and recall.

연구 동기 및 목표

• 기존 방법이 실패하는 고이상치 비율을 가진 데이터셋에서 비지도 이상 탐지를 해결하기 위해.
• 외부 이상치에 의해 심하게 오염된 데이터에서도 기저 선형 구조를 강건하게 복원할 수 있는 딥 러닝 프레임워크를 개발하기 위해.
• 더 나은 부분공간 추정을 위해 기존 오토에인코더 기반 이상 탐지 방법을 개선하기 위해, 미분 가능한 RSR 레이어를 통합하기 위해.
• 재구성 오차를 통해 이방형(원래 위치에 가까운 점)과 이상치(원래 위치에서 멀리 떨어진 점)를 구별함으로써 이상 탐지를 효과적으로 수행하기 위해.
• 실제 이상치 조건 하에서 다양한 데이터셋, 특히 이미지 및 텍스트 데이터에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 모델은 입력 데이터를 잠재 공간으로 매핑하는 인코더를 사용하는 오토에인코더를 사용한다.
• 인코더 이후에 새로운 미분 가능한 RSR 레이어를 삽입하여 이상치에 강건한 저차원 부분공간을 추출한다.
• 디코더는 부분공간에서 데이터를 재구성하며, 이방형은 원래 위치에 가까이, 이상치는 멀리 오게 하려는 목표를 가진다.
• 총 손실는 재구성 오차와 RSR 오차를 조합한 것으로, 오토에인코더 및 RSR 파라미터의 교대 최적화를 통해 최적화된다.
• RSR 레이어는 외부 이상치 비율이 높은 상황에서도 기저 선형 구조를 복원하기 위한 강건한 최적화 프레임워크를 사용한다.
• 하이퍼파rameter λ₁ 및 λ₂는 재구성 오차와 RSR 오차 사이의 트레이드오프를 제어하며, 분석 결과 λ₁=λ₂=0.1 근처에서 안정적인 성능을 보였다.

실험 결과

연구 질문

• RQ1 미분 가능한 RSR 레이어는 고이상치 비율이 높은 상황에서 비지도 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 오토에인코더 아키텍처 내에 RSR를 통합함으로써 표준 오토에인코더에 비해 부분공간 복원 및 이상 탐지 성능가 어떻게 향상되는가?
• RQ3 하이퍼파rameter λ₁ 및 λ₂는 다양한 데이터셋에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 RSRAE는 이미지 및 문서 데이터셋에서 기존 최고 수준의 방법보다 AUC 및 AP 점수에서 뛰어난 성능을 보일 수 있는가?
• RQ5 교대 최적화 방식은 노이즈 또는 손상된 데이터가 존재하는 환경에서 수렴성과 강건성에 어떤 영향을 미치는가?

주요 결과

• RSRAE는 Caltech 101, Fashion MNIST, Tiny ImageNet, Reuters-21578, 20 Newsgroups 데이터셋에서 최고 수준의 AUC 및 AP 점수를 달성했다.
• 모든 테스트된 데이터셋에서 AE, AE-1, DSEBMs, DAGMM, GT를 모두 능가했으며, 특히 고이상치 비율이 높은 설정에서 뛰어난 성능을 보였다.
• RSRAE+는 하이퍼파ram터 튜닝을 통해 RSRAE와 유사한 성능를 보였지만, RSRAE의 교대 최적화 방식은 λ₁ 및 λ₂에 대한 의존성이 없고 더 안정적인 성능를 보였다.
• RSRAE의 AUC 및 AP 점수는 하이퍼파ram터 설정에 대해 강건했으며, 20 Newsgroups 데이터셋에서 λ₁=λ₂=0.1일 때 최적의 성능를 기록했다.
• 실행 시간 분석 결과 RSRAE는 다른 딥 러닝 기반 방법들과 경쟁 가능했으며, DSEBMs, DAGMM, GT보다 빠른 추론 속도를 보였다.
• 딥 페처 없이 Tiny ImageNet에서 성능가 크게 떨어지므로, 고수준 표현이 강건한 탐지에 있어 중요하다는 점을 시사한다.