[논문 리뷰] Fake It Till You Make It: Towards Accurate Near-Distribution Novelty Detection

Hossein Mirzaei, Mohammadreza Salehi외 5명|arXiv (Cornell University)|2022. 05. 28.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 표준 이상 탐지 모델의 성능을 햖थ하여 미세한, 의미적으로 유사한 이상 현상에 대해 성능을 크게 향상시키기 위해 근접 분포 이상 데이터를 합성하는 점수 기반 생성 모델을 제안한다. 이러한 합성 근접 이상 데이터로 미세조정함으로써, 표준 이상 탐지와 근접 분포 이상 탐지 간의 성능 격차를 줄이며, 의료 영상 및 산업 품질 검사와 같은 다양한 데이터셋에서 최신 기술 수준의 AUROC 점수를 달성한다.

ABSTRACT

We aim for image-based novelty detection. Despite considerable progress, existing models either fail or face a dramatic drop under the so-called "near-distribution" setting, where the differences between normal and anomalous samples are subtle. We first demonstrate existing methods experience up to 20% decrease in performance in the near-distribution setting. Next, we propose to exploit a score-based generative model to produce synthetic near-distribution anomalous data. Our model is then fine-tuned to distinguish such data from the normal samples. We provide a quantitative as well as qualitative evaluation of this strategy, and compare the results with a variety of GAN-based models. Effectiveness of our method for both the near-distribution and standard novelty detection is assessed through extensive experiments on datasets in diverse applications such as medical images, object classification, and quality control. This reveals that our method considerably improves over existing models, and consistently decreases the gap between the near-distribution and standard novelty detection performance. The code repository is available at https://github.com/rohban-lab/FITYMI.

연구 동기 및 목표

• 정상 데이터와 약간 다를 뿐이지만 근접 분포 이상 현상에서 성능이 급격히 떨어지는 최신 이상 탐지 모델의 문제를 해결한다.
• 기존 방법, 특히 PANDA와 CSI와 같은 최신 기술 모델이 근접 이상 탐지 설정에서 최대 20%의 AUROC 저하를 겪고 있음을 규명한다.
• 근접 이상 탐지에서 GAN 기반 및 이상치 노출 방법의 한계를 극복하기 위해 제어 가능하고 안정적인 생성 기반 접근법을 사용한다.
• 의료 영상 및 물체 분류와 같은 다양한 도메인에서 표준 및 근접 분포 이상 탐지 모두에서 일관된 성능 향상을 입증한다.
• 합성된 의미적으로 유사한 이상 샘플을 통해 효과적인 훈련을 가능하게 함으로써, 표준 이상 탐지와 근접 분포 이상 탐지 간의 성능 격차를 해소한다.

제안 방법

• 정상 데이터를 잠재 공간에서 제어 가능한 노이즈로 변형하여 점수 기반 생성 모델(SDE)을 사용해 근접 분포 이상 샘플을 합성한다.
• 정상 데이터와 생성된 근접 이상 샘플을 모두 사용해 사전 훈련된 특징 추출기를 미세조정하여 구분 능력을 향상시킨다.
• 추론 시 특징 공간에서 k-NN 기반 이상도를 사용하며, 미세조정된 모델을 통해 테스트 샘플과 훈련 특징 간의 거리를 계산한다.
• 생성 샘플의 품질과 다양성을 평가하기 위해 밀도 및 커버리지 메트릭을 활용하여 의미적으로 타당하고 대표적인 샘플임을 확보한다.
• 과적합이나 모드 붕괴를 방지하기 위해 FID 점수 기반 정지 기준을 사용해 고품질 생성을 보장한다.
• 이중 단계 훈련 프로토콜을 적용: 먼저 정상 데이터로 사전 훈련한 후, 합성된 근접 이상 샘플로 미세조정하여 미세한 이상물에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 최신 이상 탐지 모델이 정상 데이터와 의미적으로 유사한 근접 분포 이상 현상에서 실패하는 이유는 무엇인가?
• RQ2 정상 샘플과 약간만 다른 이상 현상에서 합성 데이터 생성이 이상 탐지 성능 향상에 기여할 수 있는가?
• RQ3 GAN이나 이상치 노출 대비 점수 기반 생성 모델이 근접 이상 탐지 훈련에 효과적인 근접 이상을 생성하는 데 어떻게 비교되는가?
• RQ4 합성된 근접 이상 샘플로의 미세조정이 표준 이상 탐지와 근접 분포 이상 탐지 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ5 제안된 방법은 k-NN 선택 및 훈련 정지 시점과 같은 하이퍼파라미터에 대해 얼마나 강인한가?

주요 결과

• PANDA 및 CSI와 같은 기존 최신 기술 이상 탐지 모델은 표준 이상 탐지 대비 근접 이상 탐지 설정에서 최대 20%의 AUROC 저하를 겪는다.
• 제안된 방법은 Weather 데이터셋에서 AUROC 97.0, WBC에서 91.2를 기록하여 근접 이상 탐지에서 기존 방법을 크게 능가한다.
• MvTecAD 데이터셋에서 근접 이상 탐지 시 AUROC 86.4를 달성하여 다음으로 우수한 방법보다 6% 이상 높은 성능을 보였다.
• k-NN 선택 및 훈련 정지 시점에 대해 강인하며, 다양한 설정 간 FID 점수 변동 폭이 최대 2% 이내로 매우 작다.
• 표준 이상 탐지와 근접 분포 이상 탐지 간의 성능 격차를 줄이며, 평가된 모든 데이터셋과 백본 모델에서 일관된 성능 향상을 보였다.
• 점수 기반 생성 모델(SDE)을 사용함으로써 GAN에서 흔히 발생하는 모드 붕괴나 불안정성 문제를 피할 수 있는 안정적이고 고품질의 근접 이상 생성이 가능하다.