[논문 리뷰] RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection

Ximiao Zhang, Min Xu외 1명|arXiv (Cornell University)|2024. 03. 09.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

RealNet는 강도 조절 가능한 확산 기반 이상 탐지 합성(SDAS), 적응형 특징 선택(AFS), 재구성 잔차 선택(RRS)을 결합한 자기지도 학습 이상 탐지 프레임워크를 제안한다. 이는 계산 비용을 줄이며 탐지 성능을 향상시킨다. 최적의 성능을 달성하여 MVTec-AD에서 96.3%의 Image AUROC, VisA에서 97.8%를 기록하며, 데이터셋에 특화된 튜닝 없이도 이전 방법들을 능가한다.

ABSTRACT

Self-supervised feature reconstruction methods have shown promising advances in industrial image anomaly detection and localization. Despite this progress, these methods still face challenges in synthesizing realistic and diverse anomaly samples, as well as addressing the feature redundancy and pre-training bias of pre-trained feature. In this work, we introduce RealNet, a feature reconstruction network with realistic synthetic anomaly and adaptive feature selection. It is incorporated with three key innovations: First, we propose Strength-controllable Diffusion Anomaly Synthesis (SDAS), a diffusion process-based synthesis strategy capable of generating samples with varying anomaly strengths that mimic the distribution of real anomalous samples. Second, we develop Anomaly-aware Features Selection (AFS), a method for selecting representative and discriminative pre-trained feature subsets to improve anomaly detection performance while controlling computational costs. Third, we introduce Reconstruction Residuals Selection (RRS), a strategy that adaptively selects discriminative residuals for comprehensive identification of anomalous regions across multiple levels of granularity. We assess RealNet on four benchmark datasets, and our results demonstrate significant improvements in both Image AUROC and Pixel AUROC compared to the current state-o-the-art methods. The code, data, and models are available at https://github.com/cnulab/RealNet.

연구 동기 및 목표

• 기존 자기지도 학습 이상 탐지 방법이 현실적이고 다양한 합성 이상 현상을 생성하는 데에 한계가 있음을 해결하기 위해.
• 대규모 사전 훈련된 모델을 사용할 때 발생하는 특징 중복성과 사전 훈련 편향을 줄이기 위해.
• 다양한 스케일에서 재구성 잔차를 적응적으로 선택하여 탐지 성능과 재현율을 향상시키기 위해.
• 계산 비용을 최적화하면서도 높은 탐지 정확도를 유지하는 통합적이고 유연한 프레임워크를 개발하기 위해.
• 미래의 자기지도 학습 이상 탐지 연구를 위한 새로운 벤치마크 합성 데이터셋(SIA)을 제공하기 위해.

제안 방법

• 정상 샘플을 저밀도 영역에서 편향시켜 강도 조절이 가능한 확산 기반 합성 이상 현상(SDAS)을 제안한다.
• 각 이상 유형에 맞는 최적의 사전 훈련된 특징 부분집합을 적응적으로 선택하여 분류 능력을 향상시키고 중복을 줄이는 이상 인식 특징 선택(AFS) 방법을 제안한다.
• 다중 수준의 특징에서 비차별적 잔차를 적응적으로 필터링하여 국소화 정확도를 향상시키는 재구성 잔차 선택(RRS) 기법을 개발한다.
• 사전 훈련된 CNN의 여러 층에서 특징을 활용하는 다중 스케일 재구성 프레임워크를 구현하며, 이상 관련성에 기반한 잔차 선택을 수행한다.
• 선택된 재구성 잔차를 바탕으로 이상 현상을 평가하는 판별자(discriminator)를 사용하여 최소한의 하이퍼파라미터 튜닝으로도 엔드 투 엔드 훈련이 가능하도록 한다.
• 유지 비율 $P = r / \sum_{k=1}^{K} m_k$ 를 도입하여 유지할 잔차의 비율을 제어하며, Max & Avg 모드가 우수한 강건성을 보였다.

실험 결과

연구 질문

• RQ1 확산 기반 합성 방법이 실제 세계 이상 분포와 더 유사하고 다양한 합성 이상 현상을 생성할 수 있는가?
• RQ2 사전 훈련된 특징을 어떻게 적응적으로 선택하여 계산 비용을 최소화하면서도 탐지 성능을 향상시킬 수 있는가?
• RQ3 재구성 잔차의 적응적 선택이 다양한 이상 스케일에서 탐지 재현율과 국소화 정확도를 향상시키는가?
• RQ4 통합 프레임워크가 데이터셋에 특화된 튜닝 없이도 여러 벤치마크에서 최고 성능(SOTA)을 달성할 수 있는가?
• RQ5 합성 이상 현상의 강도가 최종 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• RealNet는 MVTec-AD에서 96.3%의 Image AUROC를 달성하였으며, 이는 이전 SOTA(CFlow)보다 10.2% 높은 성능이며, 데이터셋에 특화된 튜닝 없이도 달성되었다.
• VisA 데이터셋에서는 97.8%의 Image AUROC와 98.8%의 Pixel AUROC를 기록하여 복잡하고 다중 객체로 구성된 이상 현상에 대해 강력한 일반화 능력을 보였다.
• BTAD에서는 96.1%의 Image AUROC와 97.9%의 Pixel AUROC를 달성하여 다양한 산업용 데이터셋에서 일관된 성능을 보였다.
• RRS의 Max & Avg 모드가 가장 뛰어난 강건성과 성능을 보였으며, 비차별적 잔차를 효과적으로 필터링하여 Max 또는 Avg 모드만 사용하는 것보다 뛰어난 성능을 보였다.
• 절단 실험 결과 AFS는 RDR 및 RLPR와 같은 무작위 특징 선택 방법보다 뚜렷이 뛰어나 특징 부분집합 선택의 효과성을 입증하였다.
• SDAS에서 최적의 이상 강도 $s$ 는 특정 범위 내에 위치하며, 너무 낮으면 가짜 양성 결과가 발생하고, 너무 높으면 분포 이탈이 발생한다. $s$ 에 대해 균일하게 샘플링하는 것이 가장 강건한 결과를 제공하였다.