[논문 리뷰] Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity

Takashi Matsubara, Kenta Hama외 2명|arXiv (Cornell University)|2018. 07. 16.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 깊이 있는 생성 모델(DGMs)을 위한 정규화되지 않은 이상치 점수를 제안하며, 이는 복잡한 형상의 정상 샘플이 본질적인 변동성으로 인해 잘못 이상치로 간주되는 이질적 복잡도 데이터셋에서 이상 탐지 성능을 향상시킨다. 추론 과정에서 정규화 항을 제거함으로써 더 견고한 점수를 생성하여 진정한 이상치와 복잡하지만 정상적인 구조를 더 잘 구분하게 되며, 실제 제조 데이터셋에서 표준 DGMs와 전통적 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Accurate and automated detection of anomalous samples in a natural image dataset can be accomplished with a probabilistic model for end-to-end modeling of images. Such images have heterogeneous complexity, however, and a probabilistic model overlooks simply shaped objects with small anomalies. This is because the probabilistic model assigns undesirably lower likelihoods to complexly shaped objects that are nevertheless consistent with set standards. To overcome this difficulty, we propose an unregularized score for deep generative models (DGMs), which are generative models leveraging deep neural networks. We found that the regularization terms of the DGMs considerably influence the anomaly score depending on the complexity of the samples. By removing these terms, we obtain an unregularized score, which we evaluated on a toy dataset and real-world manufacturing datasets. Empirical results demonstrate that the unregularized score is robust to the inherent complexity of samples and can be used to better detect anomalies.

연구 동기 및 목표

• 스레드홀이나 무늬가 있는 조직과 같이 구조적 복잡도가 높은 정상 샘플이 있을 경우, 깊이 있는 생성 모델에서 잘못된 이상 탐지 결과가 발생하는 문제를 해결하기 위해.
• DGM의 정규화 항이 샘플의 복잡도에 따라 이상치 점수를 왜곡하여, 복잡한 정상 샘플을 이상으로 잘못 분류하는 방식의 영향을 조사하기 위해.
• 변분 오토인코더 목적 함수에서 유래한 정규화되지 않은 점수를 제안하고, 정규화를 제거함으로써 본질적인 샘플 복잡도에 대한 강인성을 향상시키기 위해.
• 제안된 방법을 합성 및 실제 제조 데이터셋에 적용하여, 표준 DGM 및 전통적인 이상 탐지 기법보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 이 방법은 표준 VAE 목적 함수를 사용하는 변분 오토인코더(VAE)를 사용하지만, 추론 과정에서 KL 발산 정규화 항을 생략하여 정규화되지 않은 이상치 점수를 도출한다.
• 이상치 점수는 $ M(x) = \|x - \mu_x\|^2 / \sigma_x^2 $ 로 정의되며, 이는 입력 이미지 패치의 복잡도에 영향을 받지 않는다.
• 정규화되지 않은 점수는 VAE 인코더에서 유도된 재구성 평균 $ \mu_x $ 와 표준편차 $ \sigma_x $ 를 사용하여 계산되며, 복잡도 민감도를 가지는 KL 항에 의존하지 않는다.
• 이 방법은 재구성 오차와 정규화된 거리의 조합을 최종 이상치 점수로 사용하며, 복잡한 영역과 단순한 영역 간 일관성을 확보하기 위해 정규화를 수행한다.
• 이 방법은 정규화가 있는 표준 VAE, 가우시안 믹스 모델(GMM), 이sovlation Forest를 대조하여 토이 및 실제 제조 데이터셋에서 평가된다.
• 점수는 $ 4 \times 4 $ 스트라이드로 패치 수준에서 적용되어 이미지 내 이상치를 국소화하며, 시각화 및 평가를 위해 [0,1] 범위로 정규화된다.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델에서 정규화 항이 이질적 복잡도를 가진 샘플에서 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ2 추론 단계에서 정규화 항을 제거하면, 복잡한 형상의 정상 샘플에 대해 이상 탐지의 강인성이 향상되는가?
• RQ3 정규화되지 않은 점수 $ M(x) $ 는 복잡한 무늬와 구조를 가진 실제 제조 데이터셋에서 표준 DGM 기반 이상 탐지 점수를 능가하는가?
• RQ4 제안된 방법은 스크류 홈이나 무늬 표면과 같은 정상이지만 복잡한 영역에서 잘못된 경고를 얼마나 줄이는가?

주요 결과

• 정규화되지 않은 점수 $ M(x) $ 를 사용한 VAE는 표준 VAE에 비해 나사 데이터셋에서 뚜렷이 높은 ROC-AUC 점수를 기록하며 우수한 성능을 보였다.
• 정규화되지 않은 점수 $ M(x) $ 는 나사 홈이나 곡면과 같은 정상이지만 복잡한 영역에서 일관되게 낮은 이상치 점수를 기록했으며, 표준 VAE는 변동성으로 인해 높은 점수를 기록한 반면에 이를 피했다.
• 이sovlation Forest는 나사 데이터셋을 효과적으로 모델링하지 못해, 복잡한 무늬 내 공간적 및 구조적 패턴을 포착하지 못해 낮은 성능을 보였다.
• 정규화되지 않은 점수를 사용한 GMM는 정규화된 대비 중간 정도의 향상을 보였지만, 여전히 공간 이동과 복잡한 경계를 다루는 데 어려움을 겪었으며, VAE 기반 방법과는 대비되었다.
• 제곱 정규화 거리 $ M(x) $ 는 $ \sigma_x $ 로 정규화하기 때문에 이미지 패치의 복잡도에 강건했으며, 이는 국소적 변동성을 내재적으로 반영하기 때문에 이상 탐지에 더 신뢰할 수 있었다.
• 시각화 결과는 정규화되지 않은 점수가 블로우홀과 같은 이상을 정확히 국소화했으며, 나사 홈과 같은 정상이지만 복잡한 영역에서는 잘못된 경고를 피했다는 것을 확인했다.