[논문 리뷰] HaloAE: An HaloNet based Local Transformer Auto-Encoder for Anomaly Detection and Localization

Émilie Mathian, Hengming Liu외 4명|arXiv (Cornell University)|2022. 08. 06.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

HaloAE는 HaloNet의 블록 단위 자기주의를 사용하여 지역적 Transformer 오토인코더를 제안하며, 비지도 이상 탐지 및 국소화를 동시에 수행한다. 지역적 자기주의와 컨볼루션 특징 추출, 자기지도 학습을 융합함으로써 MVTec 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 평균 이미지 수준 ROC-AUC는 91.4%, 픽셀 수준 ROC-AUC는 91.2%를 기록하였다.

ABSTRACT

Unsupervised anomaly detection and localization is a crucial task as it is impossible to collect and label all possible anomalies. Many studies have emphasized the importance of integrating local and global information to achieve accurate segmentation of anomalies. To this end, there has been a growing interest in Transformer, which allows modeling long-range content interactions. However, global interactions through self attention are generally too expensive for most image scales. In this study, we introduce HaloAE, the first auto-encoder based on a local 2D version of Transformer with HaloNet. With HaloAE, we have created a hybrid model that combines convolution and local 2D block-wise self-attention layers and jointly performs anomaly detection and segmentation through a single model. We achieved competitive results on the MVTec dataset, suggesting that vision models incorporating Transformer could benefit from a local computation of the self-attention operation, and pave the way for other applications.

연구 동기 및 목표

• 라벨이 부족한 산업 및 의료 영상에서 비지도 이상 탐지 및 국소화 문제를 해결한다.
• 표준 오토인코더가 이상 영역을 잘 일반화하고 재구성하여 탐지 성능을 떨어뜨리는 한계를 극복한다.
• 컨볼루션 특징 추출과 블록 단위 자기주의를 융합하여 국소 및 전반적 맥락을 통합함으로써 재구성 정밀도와 이상 국소화 성능을 향상시킨다.
• 패치 기반 추론이 필요 없이 하나의 통합 모델로 이미지 수준 이상 탐지와 픽셀 수준 분할을 동시에 수행하도록 개발한다.
• Cut&Paste를 통한 인공 결함 증강을 활용한 자기지도 학습 전략을 통해 일반화 능력과 강인성을 향상시킨다.

제안 방법

• HaloNet 기반의 지역적 2D 자기주의 모듈을 사용하여 사전 학습된 CNN 특징 추출기와 융합한 하이브리드 아키텍처인 HaloAE를 제안한다. 이는 내부 및 상호 패치 간 의존성을 모델링한다.
• 이전 연구들에서 영감을 얻어 계층적이고 의미가 풍부한 표현을 캡처하기 위해 다중 척도 특징 맵 생성 전략을 사용한다.
• 결함을 시뮬레이션하고 오토인코더를 정규화하기 위해 Cut&Paste 증강 방법을 활용한 자기지도 프록시 작업을 통합한다.
• 분류 손실(증강된 이미지 기반), 특징 맵 재구성 손실, 이미지 재구성 손실을 조합한 다중 작업 손실 함수를 설계하며, 적응형 가중치를 적용한다.
• 전체 이미지 블록 내외에서 자기주의를 계산하여 전역 ViT 스타일의 자기주의에 비해 계산 비용을 감소시킨다.
• 최종 출력을 픽셀 수준 재구성 오차를 통해 이상 탐지 및 분할에 사용하기 위해 L2 및 SSIM 손실을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 HaloNet 기반의 지역적 자기주의 기반 메커니즘이 표준 컨볼루션 오토인코더에 비해 이상 탐지 및 국소화 성능을 향상시키는가?
• RQ2 인공 결함 증강을 통한 자기지도 학습을 통합함으로써 오토인코더의 일반화 능력과 강인성이 향상되는가?
• RQ3 패치 기반 추론 없이도 하나의 통합 모델이 이미지 수준 이상 탐지와 픽셀 수준 국소화를 효과적으로 수행할 수 있는가?
• RQ4 분류, 특징 맵, 이미지 재구성 등의 다중 목표에 대해 적응형 손실 가중치를 적용할 경우 모델 성능에 어떤 영향을 미치는가?
• RQ5 지역적 자기주의를 통해 패치 내 상관관계를 모델링할 경우 재구성 품질과 이상 국소화 정확도가 얼마나 향상되는가?

주요 결과

• HaloAE는 MVTec 데이터셋에서 평균 이미지 수준 ROC-AUC 91.4%와 평균 픽셀 수준 ROC-AUC 91.2%를 기록하여 경쟁력 있는 성능를 입증하였다.
• 표준 컨볼루션 오토인코더(AE-L2: 70.0% 이미지 수준 AUC)와 심지어 베이직한 HaloNet 기반 오토인코더(75.6% 이미지 수준 AUC)보다도 성능이 뛰어나 아키텍처 통합의 유용성을 입증하였다.
• 동일한 아키텍처에서 HaloNet 블록을 컨볼루션 오토인코더로 교체하면 이미지 수준 AUC가 6.4점 향상되어 83.1에서 89.5로 상승하였으며, 지역적 자기주의의 이점을 확인하였다.
• 적응형 손실 가중치 전략(예: 불확실성 가중치)은 텍스트 클래스에서 이미지 수준 AUC 97.2%를 달성하여 효과적인 다중 작업 학습을 입증하였다.
• Cut&Paste를 통한 자기지도 학습의 활용은 더 높은 탐지 및 분할 작업 점수를 통해 모델의 일반화 능력 향상을 보여주었다.
• 제거 실험 결과, 모든 구성 요소(특징 추출기, 지역적 자기주의, SSL, 다중 손실)를 포함한 전체 HaloAE 모델이 모든 지표에서 최고 성능를 기록함을 확인하였다.