[논문 리뷰] Outlier Detection through Null Space Analysis of Neural Networks

Matthew Cook, Alina Zare외 1명|arXiv (Cornell University)|2020. 07. 02.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 5

한 줄 요약

이 논문은 신경망의 가중치 행렬의 영공간을 분석함으로써 이상치 탐지 기능을 직접 통합하는 Null Space Analysis (NuSA)를 제안한다. 영공간 투영의 크기를 측정함으로써 별도의 모델이 필요 없이 이상치 점수를 계산하며, 분류 정확도를 유지하면서도 경쟁 가능한 이상치 탐지 성능를 달성한다.

ABSTRACT

Many machine learning classification systems lack competency awareness. Specifically, many systems lack the ability to identify when outliers (e.g., samples that are distinct from and not represented in the training data distribution) are being presented to the system. The ability to detect outliers is of practical significance since it can help the system behave in an reasonable way when encountering unexpected data. In prior work, outlier detection is commonly carried out in a processing pipeline that is distinct from the classification model. Thus, for a complete system that incorporates outlier detection and classification, two models must be trained, increasing the overall complexity of the approach. In this paper we use the concept of the null space to integrate an outlier detection method directly into a neural network used for classification. Our method, called Null Space Analysis (NuSA) of neural networks, works by computing and controlling the magnitude of the null space projection as data is passed through a network. Using these projections, we can then calculate a score that can differentiate between normal and abnormal data. Results are shown that indicate networks trained with NuSA retain their classification performance while also being able to detect outliers at rates similar to commonly used outlier detection algorithms.

연구 동기 및 목표

• 신경망의 능력 인식 부족, 특히 훈련 데이터에 포함되지 않은 이상치를 탐지하지 못하는 문제를 해결하기 위해.
• 이상치 탐지를 위한 별도의 모델을 훈련할 필요 없이 기존 분류 네트워크 내부에 탐지 기능을 통합하기 위해.
• 내재된 네트워크 특성을 통해 강력한 이상치 탐지 기능을 제공하면서도 높은 분류 정확도를 유지하기 위해.
• 영공간 투영이 데이터 비정상성의 신뢰할 수 있는 통합 측정 기준이 될 수 있는지 평가하기 위해.

제안 방법

• 신경망의 각 완전 연결 레이어의 가중치 행렬의 영공간에 입력 데이터를 투영하는 방식으로 계산한다.
• 이러한 영공간 투영의 크기를 기반으로 이상치 점수를 정의하며, 높은 값일수록 이상치일 가능성이 높다는 의미이다.
• 표준 backpropagation 외에 추가 훈련이 필요 없이, 네트워크의 내부 표현을 사용해 추론 중에 점수를 계산한다.
• 가중치 행렬의 영공간에 속하는 입력 데이터의 성분은 네트워크 출력에 영향을 주지 않기 때문에, 이러한 성분은 네트워크에 의해 본질적으로 탐지되지 않는다는 사실을 활용한다.
• 훈련 중에 영공간 성분의 크기를 제어하기 위한 정규화 항을 도입함으로써, 유의미한 신호만 앞으로 전파되도록 보장한다.
• 이 방법은 피드포워드 신경망에 적용되며, 알려진 클래스와 알려지지 않은 클래스가 포함된 MNIST 유사 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 훈련된 신경망의 영공간 투영을 사용해 재훈련 없이도 외부 모델 없이 이상치를 탐지할 수 있는가?
• RQ2 NuSA의 성능은 AUC 및 정밀도-재현율 지표 측면에서 기존의 이상치 탐지 알고리즘과 비교해 어떻게 되는가?
• RQ3 영공간 분석을 통한 이상치 탐지 통합이 네트워크의 원래 분류 정확도에 어느 정도 영향을 미치는가?
• RQ4 NuSA를 사용할 경우 분류 성능와 이상치 탐지 능력 사이에 상호 보완적 트레이드오프가 존재하는가?

주요 결과

• NuSA는 표준 훈련과 거의 동일한 분류 정확도를 유지하며, 20회의 실행에서 표준편차 막대가 겹치는 것으로 나타나 성능 저하가 유의미하지 않다.
• 히스토그램에서 분포가 겹치더라도, 알려진 클래스와 알려지지 않은 클래스 간의 평균 이상치 점수 간격이 넓어지므로, 여러 기준 이상치 탐지 알고리즘보다 평균적으로 더 우수한 점수 분離 성능를 보였다.
• NuSA는 HBOS, IForest, MCD와 같은 전통적인 알고리즘보다는 경쟁 가능한 이상치 탐지 성능를 달성했으며, AUC 측면에선 ABOD, KNN, LOF에 못 미치는 수준이지만, 전반적으로 높은 성능를 보였다.
• NuSA의 평균 AUC는 최신 기술 수준의 방법들과 유사했으며, 특히 다섯 개인 알려진 클래스를 가진 균형 잡힌 설정(252개 테스트 조합)에서 강한 일반화 성능를 보였다.
• 히스토그램 분석 결과, NuSA의 알려진 클래스와 알려지지 않은 클래스 점수 간에는 겹침이 있지만, 평균 간 거리가 많은 경쟁 방법들보다 더 크므로 더 구분력 있는 점수 분포를 가짐을 시사한다.
• 영공간 분석을 통한 이상치 탐지 통합은 실현 가능하며 효과적이며, 추가 훈련이나 추론 비용 없이도 둘 다를 위한 통합 모델을 제공한다.