[논문 리뷰] Iterative energy-based projection on a normal data manifold for anomaly localization

David Dehaene, Oriel Frigo외 2명|arXiv (Cornell University)|2020. 02. 10.

Anomaly Detection Techniques and Applications인용 수 67

한 줄 요약

이 논문은 학습된 정상 데이터 매니폴드로의 입력에 대한 반복적 그라디언트-디센트 프로젝션을 제시하며, 자동인코더 재구성에서 파생된 에너지를 사용하여 이상 탐지 로컬라이제이션 및 인페인팅을 개선합니다. 입력은 입력 공간에서 업데이트되며(잠재 공간이 아님), 픽셀 단위 재구성 오차를 활용해 빠른 수렴을 유도합니다.

ABSTRACT

Autoencoder reconstructions are widely used for the task of unsupervised anomaly localization. Indeed, an autoencoder trained on normal data is expected to only be able to reconstruct normal features of the data, allowing the segmentation of anomalous pixels in an image via a simple comparison between the image and its autoencoder reconstruction. In practice however, local defects added to a normal image can deteriorate the whole reconstruction, making this segmentation challenging. To tackle the issue, we propose in this paper a new approach for projecting anomalous data on a autoencoder-learned normal data manifold, by using gradient descent on an energy derived from the autoencoder's loss function. This energy can be augmented with regularization terms that model priors on what constitutes the user-defined optimal projection. By iteratively updating the input of the autoencoder, we bypass the loss of high-frequency information caused by the autoencoder bottleneck. This allows to produce images of higher quality than classic reconstructions. Our method achieves state-of-the-art results on various anomaly localization datasets. It also shows promising results at an inpainting task on the CelebA dataset.

연구 동기 및 목표

• 산업 검사에서 이상이 드물고 라벨이 부족한 상황에서 비지도 이상 로컬라이제이션의 필요성을 제시합니다.
• 자동인코더 손실에서 정의된 에너지를 최적화하여 이상 입력을 정상 데이터 매니폴드에 투영하는 방법을 제안합니다.
• 정상 이상에 대한 우선순위를 인코딩하고 고주파 정보를 보존하기 위한 규제 항을 포함합니다.
• MVTec 데이터셋에서 최첨단 이상 로컬라이제이션을 시연하고 CelebA에서 유망한 인페인팅 결과를 보임을 보여줍니다.

제안 방법

• 정상 데이터에서 오토인코더를 학습하여 정상 매니폴드를 학습합니다.
• 오토인코더 재구성 손실에 기반한 이상 탐지기 A(x)를 임계값 T와 함께 정의합니다.
• 에너지 E(x) = L_r(x) + lambda * ||x - x0||_1 를 구성하고 초기점 x0에서 입력 공간에서 그라디언트 하강을 수행하여 E(x)를 최소화합니다.
• 정규화로 L0에 대한 대체로 L1 거리를 사용하여 정상 매니폴드에 도달하기 위해 필요한 최소 변화량을 제약합니다.
• 수렴 속도와 고주파 세부 정보를 보존하기 위한 적응적 스킴으로 그라디언트 업데이트를 향상시킵니다: 선택적 Adam 사용 및 (x - f_VAE(x))^2와 같은 픽셀-단위 가중치항을 포함합니다.
• 훈련 데이터로부터 도출된 손실-임계값에 기반한 중지 기준을 제공합니다.

실험 결과

연구 질문

• RQ1 그라디언트 기반의 반복적 입력 투영이 VAE/오토인코더가 학습한 정상 매니폴드에 입력을 투영하는 것이 표준 재구성에 비해 이상 로컬라이제이션을 개선할 수 있는가?
• RQ2 정규화 항과 고주파 보존형 그라디언트 업데이트를 도입하면 로컬라이제이션과 인페인팅 품질이 더 좋아지는가?
• RQ3 제안된 방법이 표준 이상 로컬라이제이션 벤치마크(MVTec) 및 인페인팅 작업(CelebA)에서 어떤 성능을 보이는가?

주요 결과

• 이 방법은 MVTec 데이터셋에서 여러 기준선 대비 이상 구분에서 AUROC 평균 9.52%의 향상을 보였습니다.
• 그라디언트 기반 반복 재구성은 표준 오토인코더 재구성에서 손실된 고주파 이미지 세부 정보를 보존하여 더 높은 품질의 로컬라이제이션을 생성하는 경향이 있습니다.
• 픽셀 단위 재구성 오차를 이용한 그라디언트 업데이트는 수렴 속도를 높이고 구조를 보존하여 더 적은 반복으로 유사한 성능을 달성합니다.
• CelebA에서 인페인팅에도 유망한 결과를 보이며 마스킹/노이즈가 있을 때 기저 VAE 재구성보다 개선됩니다.
• 재구성 손실 임계값에 기반한 중지 기준은 그라디언트 하강을 효율적으로 중단해 실용적 적용을 가능하게 합니다.