[논문 리뷰] Anomaly Detection with Tensor Networks

Jinhui Wang, Chase Roberts외 2명|arXiv (Cornell University)|2020. 06. 03.

Anomaly Detection Techniques and Applications참고 문헌 41인용 수 18

한 줄 요약

이 논문은 한정된 정상 데이터에 대해 효과적으로 고차원 변환을 표현할 수 있도록 텐서 네트워크를 활용하는 새로운 선형 모델인 텐서 네트워크 이상 탐지(TNAD)를 소개한다. 변환 행렬의 프로베니우스 노름을 정규화함으로써 TNAD는 희박한 정상 데이터 주변에 밀도 높은 피팅을 보장하며, 표본 데이터에서 딥 러닝 및 기존 방법보다 뛰어난 성능을 보이고, 공간적 국소성에 의존하지 않아도 이미지 데이터에서 경쟁적인 성능을 달성한다.

ABSTRACT

Originating from condensed matter physics, tensor networks are compact representations of high-dimensional tensors. In this paper, the prowess of tensor networks is demonstrated on the particular task of one-class anomaly detection. We exploit the memory and computational efficiency of tensor networks to learn a linear transformation over a space with dimension exponential in the number of original features. The linearity of our model enables us to ensure a tight fit around training instances by penalizing the model's global tendency to a predict normality via its Frobenius norm---a task that is infeasible for most deep learning models. Our method outperforms deep and classical algorithms on tabular datasets and produces competitive results on image datasets, despite not exploiting the locality of images.

연구 동기 및 목표

• 정상 데이터는 풍부하지만 이상 현상은 희박하고 매우 넓고 고차원적인 공간을 차지하는 한류 이상 탐지 문제에 대응하기 위해.
• 딥 러닝 모델의 높은 모델 복잡도로 인해 전체 입력 공간에서의 행동을 제어하기 어려운 점을 해결하기 위해.
• 고차원 특징 공간의 압축적이고 표현력 있는 표현을 학습하기 위해 텐서 네트워크의 메모리 및 계산 효율성을 활용하기 위해.
• 선형 변환의 프로베니우스 노름 정규화를 통해 정상 인스턴스 주변에 조밀한 피팅을 보장함으로써, 대부분의 딥 러닝 모델이 수행하기 어려운 전략을 구현하기 위해.
• 딥 러닝의 인도크티브 바이어스(예: 이미지 국소성)에 의존하지 않고도 텐서 네트워크가 이상 탐지에서 강력하고 확장 가능한 대안이 될 수 있음을 보여주기 위해.

제안 방법

• 모델은 입력보다 지수적으로 큰 특징 공간에서 선형 변환을 수행하며, 전체 행렬 계산을 피하기 위해 텐서 네트워크를 통해 이를 압축적으로 표현한다.
• 핵심 기여는 모델의 전반적 정상성 경향을 억제하기 위해 프로베니우스 노름 정규화를 사용함으로써, 훈련된 인스턴스 주변에 조밀한 결정 경계를 확보하는 것이다.
• 두 가지 유형의 특징 임베딩을 사용한다: 삼각함수 기반(ϕ_trig)과 푸리에 기반(ϕ_four)이며, 후자는 Glass와 같은 데이터셋에서 수직성의 특성을 더 잘 활용하기 위해 사용된다.
• 텐서 네트워크의 구조는 결합 차원 b=5와 훈련 샘플 수 대비 임베딩 차원을 제어하는 데 사용되는 매개변수 α로 정의된다.
• 안정적인 최적화를 위해 특히 큰 모델에서 유의미한 영향을 미치기 위해, 감쇠와 학습률 감소를 적용한 이단계 훈련 기법을 사용한다.
• 이상 탐지 점수는 모델의 결정 함수에서 유도되며, 이는 선형 변환의 출력을 계산하는 방식으로, 높은 값일수록 정상성에서의 이격도가 크다는 것을 의미한다.

실험 결과

연구 질문

• RQ1 텐서 네트워크는 계산 효율성을 확보하면서도 고차원 선형 변환을 이상 탐지에 효과적으로 표현할 수 있는가?
• RQ2 선형 변환에 프로베니우스 노름 정규화를 적용할 경우, 딥 러닝 모델 대비 희박한 정상 데이터 주변에 더 조밀한 피팅이 이루어지는가?
• RQ3 텐서 네트워크 파arameterization을 갖는 선형 모델이 표본 이상 탐지 벤치마크에서 기존의 기계학습 및 딥 러닝 방법을 모두 능가할 수 있는가?
• RQ4 TNAD처럼 국소성 인식이 없는 모델의 성능이 이미지 데이터셋에서 국소성 인식 모델과 비교해 어떻게 되는가?
• RQ5 텐서 네트워크가 도메인 특화된 인도크티브 바이어스 없이도 한류 이상 탐지에 대해 확장 가능하고 넓은 모델 아키텍처로 활용될 수 있는가?

주요 결과

• TNAD는 ODDS 벤치마크의 다섯 개 데이터셋 전부에서 최고의 AUROC를 기록했으며, Wine 데이터셋에서는 97.3±4.5%를 기록해 이어지는 최고 성능 모델인 OC-SVM(60.0%)를 크게 앞섰다.
• Glass 데이터셋에서는 81.8±7.3%의 AUROC를 기록해 OC-SVM(62.0%) 및 기타 베이스라인을 뛰어넘었으며, 이는 높은 클래스 불균형과 작은 크기의 데이터셋임에도 불구하고 성능이 뛰어났음을 시사한다.
• Thyroid 데이터셋에서는 베이스라인 최고 성능(99.0±0.1%)과 동일한 99.0±0.1%의 점수를 기록해 중간 크기의 데이터셋에서도 뛰어난 안정성을 입증했다.
• 대규모 Forest Cover 데이터셋에서는 98.8±0.6%의 AUROC를 기록해 OC-SVM(97.7%) 및 모든 다른 모델, 특히 자기지도 학습 모델인 GOAD(64.6±4.7%)를 앞서 성능을 냈다.
• GOAD는 Satellite 및 Forest Cover와 같은 비이미지 데이터에서 성능이 크게 떨어졌으며, 이는 애핀 변환의 일반화 능력이 임의의 표본 데이터에선 제한적일 수 있음을 시사한다.
• Glass 데이터셋에서 푸리에 임베딩(ϕ_four)의 사용은 성능 향상에 결정적인 영향을 미쳤으며, 이는 임베딩 설계가 소규모 고불균형 데이터셋에서 모델 성공에 큰 영향을 미칠 수 있음을 보여준다.