[논문 리뷰] ID-Conditioned Auto-Encoder for Unsupervised Anomaly Detection

Sławomir Kapka|arXiv (Cornell University)|2020. 07. 10.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 13

한 줄 요약

이 논문은 음향 기반 기계 상태 모니터링에서 정상 샘플이 고유 ID로 그룹화되는 비지도 이상 탐지에 대해 ID 조건부 오토인코더(IDCAE)를 제안한다. 오토인코더의 잠재 공간을 이러한 ID에 조건화하고, 동일 ID 샘플에 대해서만 재구성하도록 훈련하면서 비일치하는 샘플에 대해서는 고정된 타겟 벡터로 손실을 부과함으로써, 기준 오토인코더에 비해 상당히 향상된 이상 탐지 성능을 달성한다. DCASE 2020 챌린지 데이터셋에서 최종 mAUC는 84.16을 기록한다.

ABSTRACT

In this paper, we introduce ID-Conditioned Auto-Encoder for unsupervised anomaly detection. Our method is an adaptation of the Class-Conditioned Auto-Encoder (C2AE) designed for the open-set recognition. Assuming that non-anomalous samples constitute of distinct IDs, we apply Conditioned Auto-Encoder with labels provided by these IDs. Opposed to C2AE, our approach omits the classification subtask and reduces the learning process to the single run. We simplify the learning process further by fixing a constant vector as the target for non-matching labels. We apply our method in the context of sounds for machine condition monitoring. We evaluate our method on the ToyADMOS and MIMII datasets from the DCASE 2020 Challenge Task 2. We conduct an ablation study to indicate which steps of our method influences results the most.

연구 동기 및 목표

• 훈련 중에 정상 샘플만 제공되는 기계 음향 모니터링에서 비지도 이상 탐지를 해결하기 위해.
• 표준 오토인코더를 개선하기 위해 정상 샘플의 재구성 정밀도를 향상시키기 위해 ID 기반 조건부 조건을 통합하기 위해.
• 개방 집합 인식 방법의 복잡성을 줄이기 위해 별도의 분류 헤드가 필요 없도록 하기 위해.
• 고유한 ID에 조건을 주는 것이 정상 및 이상 재구성 오차 간의 분리도를 향상시키는지 확인하기 위해.
• 단일 실행 훈련 절차를 사용하여 DCASE 2020 챌린지 태스크 2 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 인코더-디코더 아키텍처를 사용하며, 잠재 공간을 일련의 원-핫 ID 레이블에 조건화하기 위해 두 개의 학습 가능한 함수 Hγ 및 Hβ를 사용한 애핀 변환을 적용한다.
• 훈련 중에 모델은 일치하는 레이블(α 확률) 또는 비일치하는 레이블(1−α 확률)을 입력받으며, 재구성 손실은 오직 일치하는 레이블에 대해서만 최소화된다.
• 비일치하는 레이블에 대해서는 입력 대신 고정된 상수 벡터 C를 재구성하도록 훈련하여, 이상 또는 ID 외 샘플에 대해 높은 오차를 유도한다.
• 손실 함수는 재구성 출력과 타겟 간의 L1 또는 L2 노름을 사용하며, 일치하는 경우 타겟은 입력, 비일치하는 경우 C이다.
• 추론 중에는 오직 일치하는 레이블만 사용되며, 재구성 오차가 이상도 수치로 사용된다.
• 검증 데이터에서 mAUC를 최대화하기 위해 각 기계 유형별로 세 개의 모델 앙상블을 형성하고, 이에 대한 가중 조합을 최적화한다.

실험 결과

연구 질문

• RQ1 고유한 ID에 조건을 주는 것이 비지도 이상 탐지에서 정상 샘플의 재구성 정밀도를 향상시키는가?
• RQ2 C2AE에서 별도의 분류 헤드를 제거함으로써 훈련 복잡도를 줄일 수 있는가, 동시에 성능은 유지되거나 향상되는가?
• RQ3 비일치하는 레이블에 대해 고정된 상수 벡터 C를 사용할 경우 모델의 이상 탐지 능력에 어떤 영향을 미치는가?
• RQ4 데이터 조합을 통해 훈련용 ID 수를 늘일 경우 탐지 성능은 어느 정도 향상되는가?
• RQ5 다양한 이상도 예측을 조합하는 앙상블 기법이 성능 향상에 기여하는가?

주요 결과

• Ablation 실험 결과, 조건부 메커니즘(Condition 단계)을 추가함으로써 평균 pAUC가 61.34에서 66.40으로 상승하여 성능 향상에 핵심적인 역할을 함을 확인하였다.
• 개발 데이터셋과 추가 데이터셋(AddDataset)을 모두 사용해 훈련하면 평균 AUC가 74.75에서 80.71로, 평균 pAUC가 61.34에서 69.95로 상승하여 더 다양한 정상 ID가 유의미한 성능 향상에 기여함을 입증하였다.
• 최종 앙상블 모델은 평균 mAUC 84.16을 달성하여 기준 시스템(73.51)과 DCASE 2020 챌린지 기준 시스템에 비해 상당한 향상을 이룩하였다.
• Toy Car 기계에서는 최고 AUC 91.28, Valve 기계에서는 88.27을 기록하여 다양한 기계 유형에서 뛰어난 성능을 보였다.
• 아키텍처 변경(Architect)과 특징 스케일링(Scaler)은 미미한 영향을 미쳐, 핵심 성능 향상 요인은 조건부 메커니즘이라는 것을 시사한다.
• 모델는 이상 샘플의 재구성 오차를 정상 분포에서 더 멀리 밀어내어 정상 및 이상 샘플 간의 분리도를 향상시키므로 표준 오토인코더보다 우수한 성능을 낸다.