[논문 리뷰] Anomaly Detection with Domain Adaptation

Ziyi Yang, Iman Soltani외 1명|arXiv (Cornell University)|2020. 06. 05.

Anomaly Detection Techniques and Applications참고 문헌 33인용 수 11

한 줄 요약

이 논문은 공유 및 도메인별 인코더 및 생성기와 함께 적대적 훈련을 통해 도메인 불변 특징을 학습하는 반감독 이상 탐지 도메인 적응 방법인 Invariant Representation Anomaly Detection (IRAD)를 제안한다. IRAD는 Office-Home에서 최대 10% 향상된 성능을 기록하며, 오차와 일반화에 대한 이론적 경계를 통해 강력한 일반화 성능을 달성한다.

ABSTRACT

We study the problem of semi-supervised anomaly detection with domain adaptation. Given a set of normal data from a source domain and a limited amount of normal examples from a target domain, the goal is to have a well-performing anomaly detector in the target domain. We propose the Invariant Representation Anomaly Detection (IRAD) to solve this problem where we first learn to extract a domain-invariant representation. The extraction is achieved by an across-domain encoder trained together with source-specific encoders and generators by adversarial learning. An anomaly detector is then trained using the learnt representations. We evaluate IRAD extensively on digits images datasets (MNIST, USPS and SVHN) and object recognition datasets (Office-Home). Experimental results show that IRAD outperforms baseline models by a wide margin across different datasets. We derive a theoretical lower bound for the joint error that explains the performance decay from overtraining and also an upper bound for the generalization error.

연구 동기 및 목표

• 대상 도메인에서 정상 데이터가 제한적으로 제공될 때 반감독 이상 탐지의 과제를 해결한다.
• 풍부한 정상 데이터가 있는 소스 도메인에서의 이상 탐지 지식을 정상 예제가 부족한 대상 도메인으로 효과적으로 전이할 수 있도록 한다.
• 제한된 대상 도메인 데이터로 인한 과적합을 방지하면서도, 미리보지 않은 이상 현상에 대해 잘 일반화되는 방법을 개발한다.
• 과적합으로 인한 성능 저하를 설명하고 모델 설계를 안내하기 위해 오차와 일반화의 공동 경계에 대한 이론적 분석을 수행한다.

제안 방법

• 소스 도메인 및 타겟 도메인 데이터에서 도메인 불변 표현을 추출하기 위해 공유 인코더를 훈련한다.
• 소스 전용 인코더, 생성기, 판별기와 함께 적대적 훈련을 수행하여 공유 및 도메인 특화 특징을 분리한다.
• 잠재 공간에서 소스 및 타겟 도메인 표현 간의 유사도를 유사도 목적함수(Eq. 4)를 통해 강제로 유사하게 만든다.
• 특징 재구성 과정에서 구조 일관성을 유지하기 위해 사이클 일관성 손실(Eq. 2)을 적용한다.
• 적대적 목적함수에 무작위 노이즈 입력($\bm{x}_{rnd}$)을 도입하여 판별기의 정규화를 강화하고 결정 경계 학습을 향상시킨다.
• 공유 표현에 기반해 사전에 존재하는 이상 탐지기(Isolation Forest)를 훈련하여 타겟 도메인에서의 최종 이상 점수를 산출한다.

실험 결과

연구 질문

• RQ1 제한된 타겟 도메인 데이터와 풍부한 소스 도메인 데이터로부터 도메인 불변 표현을 효과적으로 학습할 수 있는가? 이는 이상 탐지 성능 향상에 기여하는가?
• RQ2 공유 및 도메인 특화 특징의 적대적 분리가 도메인 이동 상황에서 이상 탐지의 일반화에 어떤 영향을 미치는가?
• RQ3 사이클 일관성과 유사도 정규화는 타겟 도메인에서 정상 및 이상 특징의 분리에 어떤 영향을 미치는가?
• RQ4 과적합은 도메인 적응 이상 탐지에서 공동 오차 및 일반화 성능에 어떤 영향을 미치는가?
• RQ5 이 설정에서 표현 불변성과 모델 일반화 사이의 트레이드오프를 설명하는 이론적 경계는 무엇인가?

주요 결과

• IRAD는 Office-Home Product → Clip Art 벤치마크에서 최첨단 베이스라인 대비 최대 10% 향상된 성능을 기록하며 뚜렷한 성능 향상을 입증한다.
• 디지털 데이터셋(MNIST → USPS, SVHN)에서 IRAD는 베이스라인 대비 일관된 성능 향상을 기록하며, 특히 타겟 도메인 훈련 데이터가 제한적일 경우 두드러진 성능 향상을 보인다.
• 제거 실험 결과, 사이클 일관성 손실을 제거할 경우 성능이 10% 이상 감소함을 확인하여, 이들이 특징 분리에 핵심적인 역할을 한다는 것을 입증한다.
• 적대적 훈련에서 무작위 노이즈 항목($\bm{x}_{rnd}$)이 누락될 경우 정상 및 이상 특징이 혼합되어 탐지 성능이 떨어진다.
• 유사도 목적함수(Eq. 4)는 주성분 분석(PCA) 투영 및 내적 곱 크기 측정을 통해 잠재 공간에서 소스 및 타겟 도메인 표현 간의 효과적인 정렬을 가능하게 한다.
• 이론적 분석을 통해 공동 오차의 하한과 일반화 오차의 상한을 도출하였으며, 이는 과적합으로 인한 성능 저하를 설명하고 모델 최적화를 안내하는 데 기여한다.