[논문 리뷰] Self-Supervised Training with Autoencoders for Visual Anomaly Detection

Alexander Bauer, Nakajima, Shinichi외 1명|arXiv (Cornell University)|2022. 06. 23.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 신경 이미지 복원 기반의 두 가지 목적 함수를 활용해 손상된 입력에서 훈련하는 자기지도 학습 자동에코더 프레임워크를 제안한다. 이는 재구성 기반 이상 탐지 점수를 향상시키며, MVTec AD 데이터셋에서 특히 텍스처 카테고리에서 최신 기술 수준(SOTA) 성능을 달성한다. 정상 패턴을 재구성하면서 국소적 일관성을 통해 이상을 걸러내는 방식으로, 단일 순방향 전파를 통해 매우 정확한 탐지 및 국소화를 가능하게 한다.

ABSTRACT

We focus on a specific use case in anomaly detection where the distribution of normal samples is supported by a lower-dimensional manifold. Here, regularized autoencoders provide a popular approach by learning the identity mapping on the set of normal examples, while trying to prevent good reconstruction on points outside of the manifold. Typically, this goal is implemented by controlling the capacity of the model, either directly by reducing the size of the bottleneck layer or implicitly by imposing some sparsity (or contraction) constraints on parts of the corresponding network. However, neither of these techniques does explicitly penalize the reconstruction of anomalous signals often resulting in poor detection. We tackle this problem by adapting a self-supervised learning regime that exploits discriminative information during training but focuses on the submanifold of normal examples. Informally, our training objective regularizes the model to produce locally consistent reconstructions, while replacing irregularities by acting as a filter that removes anomalous patterns. To support this intuition, we perform a rigorous formal analysis of the proposed method and provide a number of interesting insights. In particular, we show that the resulting model resembles a non-linear orthogonal projection of partially corrupted images onto the submanifold of uncorrupted samples. On the other hand, we identify the orthogonal projection as an optimal solution for a number of regularized autoencoders including the contractive and denoising variants. We support our theoretical analysis by empirical evaluation of the resulting detection and localization performance of the proposed method. In particular, we achieve a new state-of-the-art result on the MVTec AD dataset -- a challenging benchmark for visual anomaly detection in the manufacturing domain.

연구 동기 및 목표

• 표준 자동에코더가 이상 영역과 정상 영역을 구분하는 데 어려움을 겪는 한계를 해결하기 위해.
• 이상 레이블이 필요 없이 자기지도 학습 중에 분류 정보를 통합함으로써 이상 탐지 및 국소화 성능을 향상시키기 위해.
• 데이터 만곡 구조를 활용해 이상 패턴의 재구성을 명시적으로 방지하는 훈련 제도를 설계하기 위해.
• 특징 메모리 백업과 같은 메모리 집약적인 기법을 피하기 위해 단일 순방향 전파를 통해 효율적인 추론을 가능하게 하기 위해.
• 특히 텍스처 및 텍스처 유사 물체 카테고리에서 MVTec AD 벤치마크에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 신경 이미지 복원에서 유도된 두 가지 자기지도 학습 목적 함수를 사용해 부분적으로 손상된 이미지에서 깊이 컨볼루션 자동에코더를 훈련한다.
• 목적 함수 (1)을 사용해 국소적으로 일관된 재구성을 정규화하며, 비정상적인 요소를 타당한 정상 패턴으로 대체하는 필터 역할을 한다.
• 목적 함수 (4)를 사용해 정상 영역의 재구성 오차를 최소화하고 이상 영역의 오차를 최대화함으로써 분류 목적과 유사하게 작용한다.
• 오염 및 회전과 같은 데이터 증강 기법을 적용해 훈련 중에 손상된 입력을 생성함으로써 다양한 이상 유형에 대한 강건성을 향상시킨다.
• 정상 예제의 만곡 구조 위에 비선형 직교 투사의 근사로 모델을 수학적으로 분석하며, 재구성 오차를 이상 점수로 정당화한다.
• 재구성 오차와 이상 인식 정규화를 균형 잡기 위한 조정 하이퍼파rameter λ를 사용해 엔드 투 엔드 백프로파게이션으로 훈련한다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 통해 이상 패턴의 재구성을 명시적으로 방지함으로써 자동에코더가 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 표준 재구성 오차와 비교해, 이미지 복원 기반 목적 함수는 데이터 만곡 구조에 가까운 미세한 이상을 탐지하는 데 어떻게 성능을 높이는가?
• RQ3 국소적 일관성 정규화와 이상 인식 손실을 병합함으로써 특정 오염 패턴에 과적합되지 않으면서도 국소화 성능을 향상시킬 수 있는가?
• RQ4 이미지 오염 방법의 선택이 모델 일반화 능력과 과적합에 얼마나 큰 영향을 미치는가?
• RQ5 메모리 백업이 없는 단일 순방향 전파 추론이 시각적 이상 탐지에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 MVTec AD 데이터셋에서 특히 텍스처 서브셋에서 최신 기술 수준의 성능을 달성하며, 탐지 및 국소화 작업 모두에서 최근 기술들을 능가한다.
• 텍스처 서브셋에서 이 방법은 기존 접근법보다 뚜렷한 격차로 앞서며, 미세하고 복잡한 이상에 대한 뛰어난 일반화 능력을 입증한다.
• 목적 함수 (1)로 훈련된 모델는 이상 패턴을 국소적으로 일관된 재구성으로 대체하는 필터 역할을 하며, 정상 데이터 만곡 구조에 가까운 이상을 탐지할 수 있다.
• 목적 함수 (4)로 훈련된 모델는 이상 영역의 재구성 오차를 증폭시켜 국소화 정확도를 높이며, 분류와 유사한 성능에 가까워진다.
• 오염 방법과 하이퍼파rameter 조정에 더 민감한 편이지만, 목적 함수 (4)는 국소화 성능 향상에 상당한 기여를 하며, 목재에 묻은 글루 드롭의 경우 그림 11에서 이를 확인할 수 있다.
• 목적 함수 (1)과 (4)로 훈련된 모델를 앙상블하면 성능 향상 잠재력이 있으며, 탐지 및 국소화에서 상호 보완적인 강점을 보임을 시사한다.