[논문 리뷰] CAINNFlow: Convolutional block Attention modules and Invertible Neural Networks Flow for anomaly detection and localization tasks

Ruiqing Yan, Fan Zhang외 8명|arXiv (Cornell University)|2022. 06. 04.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

CAINNFlow는 정규화 흐름에 컨volution 블록 주의 모듈(CBAM)을 통합하는 플러그인 아키텍처를 제안하여 비지도 이상 탐지 및 국소화 과정에서 공간적 구조를 유지한다. 표준 다층 퍼셉트론 대신 CBAM로 강화된 스택드 3×3 컨볼루션을 사용함으로써, CNN 및 트랜스포머 백본을 사용할 경우 MVTec AD 데이터셋에서 픽셀 수준 AUC 98.64%를 달성한다.

ABSTRACT

Detection of object anomalies is crucial in industrial processes, but unsupervised anomaly detection and localization is particularly important due to the difficulty of obtaining a large number of defective samples and the unpredictable types of anomalies in real life. Among the existing unsupervised anomaly detection and localization methods, the NF-based scheme has achieved better results. However, the two subnets (complex functions) $s_{i}(u_{i})$ and $t_{i}(u_{i})$ in NF are usually multilayer perceptrons, which need to squeeze the input visual features from 2D flattening to 1D, destroying the spatial location relationship in the feature map and losing the spatial structure information. In order to retain and effectively extract spatial structure information, we design in this study a complex function model with alternating CBAM embedded in a stacked $3 imes3$ full convolution, which is able to retain and effectively extract spatial structure information in the normalized flow model. Extensive experimental results on the MVTec AD dataset show that CAINNFlow achieves advanced levels of accuracy and inference efficiency based on CNN and Transformer backbone networks as feature extractors, and CAINNFlow achieves a pixel-level AUC of $98.64\%$ for anomaly detection in MVTec AD.

연구 동기 및 목표

• 정규화 흐름이 2D 특징 맵을 1D 벡터로 평탄화함으로써 공간적 구조를 파괴하는 데 기인한 한계를 해결하기 위해.
• 특징 표현 내 공간적 관계를 유지함으로써 비지도 이상 탐지 및 국소화 성능을 향상시키기 위해.
• 모든 백본 네트워크(CNN 또는 트랜스포머)와 호환 가능한 플러그인 모듈을 개발하여 유연한 구현을 가능하게 하기 위해.
• 주목할 만한 공간적 및 채널 기반 특징에 집중하는 주의 메커니즘을 통해 특징 표현 학습을 향상시키기 위해.
• MVTec AD 벤치마크에서 정확도와 추론 효율성 측면에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 2D 공간적 구조를 유지하기 위해 스택드 3×3 완전 컨volution 레이어로 구성된 복잡한 함수를 정규화 흐름에 설계한다.
• 중요한 공간적 및 채널 기반 특징을 동적으로 강조하기 위해 흐름 아키텍처 내부에 CBAM 모듈을 통합한다.
• 정규화 흐름 내 표준 다층 퍼셉트론을 CBAM로 강화된 컨볼루션 블록으로 대체하여 공간 정보를 유지한다.
• 역가능한 신경망(INNs)을 사용하여 정상 샘플 특징을 표준 가우시안 분포로 이중사상 변환한다.
• 양방향 흐름을 적용: 전방 전파로 특징을 정규 분포로 매핑하고, 역방향 전파로 재구성 및 이상 시각화를 수행한다.
• 정상 이미지만을 사용하여 엔드 투 엔드로 모델을 훈련하고, 분포 이탈을 통해 이상을 탐지하기 위해 가능도 추정을 활용한다.

실험 결과

연구 질문

• RQ1 정규화 흐름 아키텍처가 분포 변환을 수행할 때 2D 특징 맵의 공간적 구조를 유지할 수 있는가?
• RQ2 흐름의 복잡한 함수에 CBAM를 통합함으로써 표준 MLP 대비 이상 탐지 성능 향상 정도는 어떠한가?
• RQ3 성능과 효율성의 균형을 고려할 때 CAC 모듈의 최적 구성(예: 스텝 수)은 무엇인가?
• RQ4 ResNet18과 같은 경량 백본을 사용할 경우 CAINNFlow가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 CAINNFlow의 역방향 과정이 노이즈 주입 및 재구성 기반으로 이상을 얼마나 잘 시각화하고 국소화할 수 있는가?

주요 결과

• CAINNFlow는 MVTec AD 데이터셋에서 픽셀 수준 AUC 98.64%를 달성하여 이상 탐지 분야에서 최신 기술 수준의 성능을 입증한다.
• CAC 모듈 아키텍처는 12개의 평가 지표 중 12개에서 CA 및 AC 모듈을 모두 초월하여 공간적 특징 추출의 효과성을 확인한다.
• CAC 모듈의 스텝 수를 2로 설정할 경우 최적의 성능을 달성하며, 이를 초과하면 성능 저하가 발생한다.
• ResNet18을 백본으로 사용할 경우에도 높은 정확도를 확보함으로써 경량 모델과의 뛰어난 효율성 및 호환성을 입증한다.
• 정성적 결과는 역방향 과정이 정상 특징을 성공적으로 재구성하고 노이즈 주입 시 이상 영역을 효과적으로 강조함을 보여준다.
• 특징 시각화 결과는 전방 전파 과정에서 정상 특징가 표준 가우시안 분포로 잘 분포되며, 비정상 입력은 크게 이탈함을 확인한다.