[논문 리뷰] PyramidFlow: High-Resolution Defect Contrastive Localization using Pyramid Normalizing Flow

Jiarui Lei, Xiaobo Hu외 2명|arXiv (Cornell University)|2023. 03. 05.

Industrial Vision Systems and Defect Detection인용 수 5

한 줄 요약

PyramidFlow는 복잡한 정상 데이터 분포를 모델링하기 위해 가역성 피라미드 정규화 플로우를 사용하여 고해상도 결함 국소화 방법을 제안한다. 피라미드 특징 분해, 부피 정규화, 잠재 템플릿 학습을 통합함으로써 MVTec AD 및 BTAD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 미세한 결함과 소형 결함을 정밀하게 국소화하는 데에 앞서 나서고 있다.

ABSTRACT

During industrial processing, unforeseen defects may arise in products due to uncontrollable factors. Although unsupervised methods have been successful in defect localization, the usual use of pre-trained models results in low-resolution outputs, which damages visual performance. To address this issue, we propose PyramidFlow, the first fully normalizing flow method without pre-trained models that enables high-resolution defect localization. Specifically, we propose a latent template-based defect contrastive localization paradigm to reduce intra-class variance, as the pre-trained models do. In addition, PyramidFlow utilizes pyramid-like normalizing flows for multi-scale fusing and volume normalization to help generalization. Our comprehensive studies on MVTecAD demonstrate the proposed method outperforms the comparable algorithms that do not use external priors, even achieving state-of-the-art performance in more challenging BTAD scenarios.

연구 동기 및 목표

• 산업 영상 이면 이상 탐지에서 고해상도 및 정밀한 결함 국소화 문제를 해결한다.
• 이미지 이상 탐지에서 기존 방법들이 흐릿하거나 군집된 이상 지도를 생성하는 한계를 극복한다.
• 가역성 특징 피라미드를 통해 공간 해상도를 유지함으로써 세밀한 결함 국소화를 가능하게 한다.
• 특히 무늬가 풍부하고 물체 유사한 카테고리에서의 일반화 및 강인성을 향상시킨다.
• 복잡한 정상 데이터 분포를 효과적으로 모델링하기 위해 학습 가능한 잠재 템플릿과 부피 정규화를 도입한다.

제안 방법

• 다중 척도에서 특징를 내림내림하고 재구성하는 데 가역성 피라미드 분해를 사용하여 공간 정보를 유지한다.
• 아핀 결합과 부피 정규화를 결합한 피라미드 커플링 블록을 활용하여 가역성 플로우 기반의 특징 변환을 수행한다.
• 채널별 평균을 정규화하지만 표준편차에 영향을 주지 않는 채널 부피 정규화(CVN)를 적용하여 학습을 안정화시킨다.
• 정상 데이터 분포를 모델링하기 위해 학습 가능한 잠재 템플릿을 도입하여 이상 탐지에 대비한 대비 학습을 가능하게 한다.
• 재구성된 특징에서 고주파 수준의 세부 정보를 유지하기 위해 푸리에 손실을 적용하여 국소화 정밀도를 향상시킨다.
• 다중 척도 특징을 연결 및 적응형 정규화를 통해 조합함으로써 다양한 척도 간 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 척도 특징 피라미드를 갖춘 가역성 정규화 플로우는 기존 방법 대비 고해상도 결함 국소화에서 성능 향상에 기여하는가?
• RQ2 부피 정규화는 정규화 플로우 기반 이상 탐지에서 학습 안정성과 성능에 어떤 기여를 하는가?
• RQ3 잠재 템플릿은 다양한 결함 유형에서 재구성 품질과 이상 탐지 정확도를 얼마나 향상시키는가?
• RQ4 소형 또는 미세한 결함(예: 균열, 고주파 노이즈 패턴 등)을 국소화하는 데에 제안된 방법은 얼마나 효과적인가?
• RQ5 푸리에 손실의 통합이 재구성된 이미지에서 고주파 세부 정보의 유지에 기여하여 이상 국소화 성능을 향상시키는가?

주요 결과

• MVTec AD에서 PyramidFlow는 평균 픽셀-AUROC 95.7%를 기록하여 SPADE, PaDiM, AE-SSIM을 포함한 모든 베이스라인을 앞서며 최고 성능을 달성했다.
• 도전적인 BTAD 데이터셋에서 PyramidFlow는 평균 픽셀-AUROC 93.3%를 기록했으며, 01, 02, 03와 같은 복잡한 카테고리에서 뛰어난 국소화 정확도를 확보했다.
• 제거 실험 결과, 부피 정규화를 제거하면 성능이 크게 떨어지며, 특히 무늬 카테고리에서 뚜렷한 영향을 미친다(예: 카펫 AUROC는 90.8%에서 88.5%로 감소).
• 잠재 템플릿은 성능에 결정적인 영향을 미치며, 제거 시 모든 카테고리에서 평균 픽셀-AUROC가 2.5%p 감소한다.
• 피라미드 차이(다중 척도 모델링)는 물체 유사 결함에는 덜 중요하지만, 무늬 카테고리에서는 필수적이다. 카펫에서의 제거 시 AUROC가 15.5%p 감소한다.
• 시각화 결과, SPADE 및 PaDiM이 흐릿하거나 과대 예측하는 데 비해, PyramidFlow는 더 선명하고 정밀한 이상 마스크를 생성함을 확인했다.