[논문 리뷰] Self-Supervised Losses for One-Class Textual Anomaly Detection

Kimberly T. Mai, T. Davies외 1명|arXiv (Cornell University)|2022. 04. 12.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 마스크된 언어 모델링(MLM), 인과적 언어 모델링(CLM), 또는 대비 학습(SimCSE)을 사용하여 이너 데이터에서 BERT를 피지테이닝함으로써 단일 클래스 텍스트 이상 탐지에 대해 단순하면서도 효과적인 자기지도 학습 접근법을 제안한다. 이후 모델의 손실을 이상 탐지 점수로 사용한다. 이 방법은 기존 방법 대비 의미적 이상 탐지에서 평균 11.6% 향상되고 문법적 이상 탐지에서 22.8% 향상되며, 이상 유형과 표현 특성에 따라 성능이 달라진다.

ABSTRACT

Current deep learning methods for anomaly detection in text rely on supervisory signals in inliers that may be unobtainable or bespoke architectures that are difficult to tune. We study a simpler alternative: fine-tuning Transformers on the inlier data with self-supervised objectives and using the losses as an anomaly score. Overall, the self-supervision approach outperforms other methods under various anomaly detection scenarios, improving the AUROC score on semantic anomalies by 11.6% and on syntactic anomalies by 22.8% on average. Additionally, the optimal objective and resultant learnt representation depend on the type of downstream anomaly. The separability of anomalies and inliers signals that a representation is more effective for detecting semantic anomalies, whilst the presence of narrow feature directions signals a representation that is effective for detecting syntactic anomalies.

연구 동기 및 목표

• 학습 시기에 유일하게 이너 데이터만 이용 가능한 단일 클래스 텍스트 이상 탐지 문제를 해결하기 위해.
• 감독 신호나 복잡한 아키텍처 없이도 자기지도 피지테이닝 목표가 효과적인 이상 탐지기로 기능할 수 있는지 평가하기 위해.
• 의사결정 유형(의미적 대비 문법적)에 따라 다양한 자기지도 목표가 탐지 성능에 미치는 영향을 조사하기 위해.
• 탐지 성능과 관련된 표현 속성(예: 분리 가능성, 특징의 취약성 등)을 분석하기 위해.

제안 방법

• 마스크된 언어 모델링(MLM), 인과적 언어 모델링(CLM), 대비 학습(SimCSE)의 세 가지 자기지도 목표를 사용하여 사전 학습된 BERT BASE 인코더를 피지테이닝한다.
• 각 피지테이닝된 모델의 교차 엔트로피 손실을 추론 시 이상 탐지 점수로 사용하며, 높은 손실이 높은 이상 가능성과 관련된다.
• 의미적 이상(클래스 분할을 통한 생성)과 문법적 이상(문장 재정렬을 통한 생성)의 두 가지 이상 유형에서 AUROC를 사용해 성능을 평가한다.
• 최종 레이어의 은닉 표현을 추출하고, 분류 정확도를 통한 로지스틱 분류를 통한 분리 가능성과 평균 L2 기울기 노름을 통한 특징 취약성 분석을 수행한다.
• 엔드 투 엔드 손실 기반 점수와 k-NN 분류기에서의 임베딩을 특징으로 사용하는 방법을 비교하여 표현의 유용성 평가한다.
• 순열 강도(1-그램에서 4-그램으로의 재정렬)에 대한 분석을 통해 다양한 목표가 증가하는 문법적 교란에 대해 얼마나 강건한지 평가한다.

실험 결과

연구 질문

• RQ1 사전 학습된 트랜스포머를 자기지도 피지테이닝하여 손실을 이상 점수로 사용하는 방법이, 더 복잡한 감독 기반 이상 탐지 방법보다 단일 클래스 설정에서 더 우수한 성능을 낼 수 있는가?
• RQ2 자기지도 목표의 선택(MLM, CLM, SimCSE)이 의미적 이상과 문법적 이상에 대해 성능에 어떻게 영향을 미치는가?
• RQ3 의미적 이상 탐지 성능을 예측하는 데 도움이 되는 표현 속성(예: 클래스 분리 가능성, 특징 취약성 등)은 무엇인가?
• RQ4 학습된 임베딩을 하류 분류기의 특징으로 사용하는 것보다 모델의 손실을 직접 이상 점수로 사용하는 것이 더 나은가?

주요 결과

• 자기지도 목표를 사용하여 BERT를 피지테이닝하면, 기존 방법 대비 의미적 이상 탐지에서 평균 11.6% 향상되고 문법적 이상 탐지에서 22.8% 향상된다.
• CLM 목표는 증가하는 문법적 이상 난이도에 걸쳐 가장 안정적인 성능을 보이며, 1-그램에서 4-그램 재정렬로의 전환 시 AUROC가 4%만 감소하여 MLM 및 SimCSE를 능가한다.
• 의미적 이상 탐지에서 이너 데이터와 이상 데이터 간의 표현 분리 가능성은 성능 예측에 강력한 지표이며, 분류 정확도와 AUROC 간의 높은 상관관계로 확인된다.
• 문법적 이상 탐지에서는 높은 기울기 노름(특징의 취약성 증가)이 더 나은 탐지 성능과 강하게 상관되며, 특히 CLM 기반 모델에서 두드러진다.
• 엔드 투 엔드 손실 기반 점수 사용이 k-NN 분류기에서의 학습된 임베딩을 특징으로 사용하는 것보다 일관되게 뛰어난 성능을 보인다.
• SimCSE 목표는 가장 등방성 표현을 생성하는 반면, CLM은 가장 비대칭적이고 취약한 특징을 생성하며, 이는 문법적 이상 탐지에서 뛰어난 성능과 일치한다.