[논문 리뷰] Anomaly localization by modeling perceptual features

David Dehaene, Pierre Eline|arXiv (Cornell University)|2020. 08. 12.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 28

한 줄 요약

이 논문은 표준 VAE의 한계를 극복하기 위해 픽셀 공간과 사전 훈련된 VGG16 네트워크에서 추출한 인지적 특징 공간에서 동시에 이미지를 재구성하는 특징 증강 변동형 오토인코더(FAVAE)를 제안한다. 고수준의 ImageNet 사전 훈련된 특징을 모델링함으로써 FAVAE는 MVTec AD 데이터셋에서 이상 탐지 및 국소화 작업 모두에서 기존의 최고 성능(SOTA)을 달성하며, 표준 VAE 및 이전 방법들보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Although unsupervised generative modeling of an image dataset using a Variational AutoEncoder (VAE) has been used to detect anomalous images, or anomalous regions in images, recent works have shown that this method often identifies images or regions that do not concur with human perception, even questioning the usability of generative models for robust anomaly detection. Here, we argue that those issues can emerge from having a simplistic model of the anomaly distribution and we propose a new VAE-based model expressing a more complex anomaly model that is also closer to human perception. This Feature-Augmented VAE is trained by not only reconstructing the input image in pixel space, but also in several different feature spaces, which are computed by a convolutional neural network trained beforehand on a large image dataset. It achieves clear improvement over state-of-the-art methods on the MVTec anomaly detection and localization datasets.

연구 동기 및 목표

• 이상이 드물거나 구조적으로 복잡할 경우 인간의 인지와 일치하는 이상을 탐지하는 데에 표준 VAE의 한계를 해결한다.
• 표준 VAE가 이상 샘플의 가능도를 정상 샘플보다 높게 평가하여 인간의 판단과 모순되는 문제를 해결한다.
• 픽셀 재구성에만 의존하는 것 대신, 사전 훈련된 네트워크에서 추출한 다중 척도 고수준 특징을 통합함으로써 이상 국소화 성능을 향상시킨다.
• ImageNet으로 훈련된 모델에서 유도된 인지적으로 의미 있는 특징이 픽셀 수준의 재구성 외에도 강력한 이상 모델링에 필수적임을 입증한다.
• 사람의 인지에 더 가까운 이상 탐지 성능을 반영하기 위해 픽셀과 인지적 특징 분포를 동시에 모델링하는 프레임워크를 구축한다.

제안 방법

• 사전 훈련된 VGG16 네트워크에서 추출한 다중 중간 특징 공간뿐만 아니라 픽셀 공간에서도 입력 이미지를 재구성하도록 변동형 오토인코더(VAE)를 훈련한다.
• VGG16의 2번째, 3번째, 4번째 맥스 풀링 레이어(활성화 이전)의 특징 맵을 재구성의 인지적 특징 타겟으로 사용한다.
• 픽셀 공간과 인지적 특징 공간 양쪽에서 L2 손실의 가중 합을 최소화함으로써 VAE를 공동 최적화한다.
• 훈련 중 특징 추출기의 기울기를 정지시켜 사전 훈련된, 인지적으로 의미 있는 특징을 유지하도록 한다.
• 양쪽 공간에서 재구성된 샘플의 로그 가능도를 이상도 점수로 사용하며, 높은 점수는 정상성을 의미한다.
• 시각화 전에 이상 지도에 히스토GRAM 균형 조정을 적용하고, 일관된 정성적 비교를 위해 제트 컬러맵을 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 네트워크에서 유도된 인지적 특징을 모델링하면, 픽셀 수준의 재구성 외에도 이상 탐지 및 국소화 성능 향상에 기여하는가?
• RQ2 ImageNet으로 훈련된 모델에서 유도된 고수준 이식 가능한 특징을 사용하면 이상 탐지에서 인간의 인지와의 일치도가 향상되는가?
• RQ3 특징 추출기의 다양한 구성(예: 무작위 가중치, 미세조정, 고정)이 이상 국소화 성능에 어떤 영향을 미치는가?
• RQ4 성능 향상의 원인은 다중 척도 특징 표현 때문인가, 아니면 사전 훈련으로 유도된 인지적으로 의미 있는 특징 때문인가?
• RQ5 픽셀과 깊은 특징을 동시에 재구성하는 통합 모델이 MVTec AD와 같은 벤치마크 데이터셋에서 기존의 최고 성능(SOTA) 방법들을 능가할 수 있는가?

주요 결과

• VGG16 특징을 사용한 FAVAE는 MVTec AD 데이터셋의 모든 서브셋에서 최고 성능을 기록하며, 표준 VAE 및 이전의 SOTA 방법들을 모두 능가한다.
• 사전 훈련된 VGG16 특징 추출기를 사용한 모델(M 3b)이 탐지(AUROC)와 국소화(Pixel AUROC) 양 측면에서 최고의 성능을 기록하여, 인지적으로 의미 있는 특징의 중요성을 확인한다.
• 무작위로 초기화된 VGG16 가중치(M 3b) 또는 인코더에서 자체 인코딩한 특징(M 3b)을 사용할 경우 표준 VAE보다 국소화 성능이 향상되며, 이는 사전 훈련되지 않은 다중 척도 특징조차도 도움이 된다는 것을 시사한다.
• 특징 추출기가 미세조정이 가능하도록 허용한 경우(M 3b 및 M 3b), 성능이 뚜렷이 악화되며, 이는 수정되지 않은 사전 훈련된 특징이 강건성에 필수적임을 보여준다.
• 절단 분석 결과, ImageNet 사전 훈련을 통해 유도된 인지적 특징이 필수적임을 확인하였다. 무작위 또는 학습 가능한 특징을 사용한 모델는 고정된 사전 훈련된 특징을 사용한 모델보다 성능이 열 劣하다.
• FAVAE는 초모수 조정 없이도 뛰어난 성능을 기록하며, 산업 검사에서 다양한 이상 유형에 걸쳐 강건성과 일반화 능력을 입증하였다.