[논문 리뷰] Reconstruction Student with Attention for Student-Teacher Pyramid Matching

Shinji Yamada, Kazuhiro Hotta|arXiv (Cornell University)|2021. 11. 30.

Anomaly Detection Techniques and Applications참고 문헌 30인용 수 16

한 줄 요약

이 논문은 자기주의 메커니즘을 갖춘 복원 브랜치를 도입함으로써 비지도 이상 탐지 성능을 향상시키는 이중 학생-교수 네트워크 프레임워크를 제안한다. 정상 특징을 복원하기 위한 또 다른 학생-교수 쌍과 특징 피라미드 매칭을 위한 학생-교수 쌍을 별도로 훈련시킴으로써, 이 방법은 이상 탐지 정확도와 국소화 정확도를 향상시키며, 픽셀 수준 및 이미지 수준 벤치마크에서 원래의 STPM보다 높은 AUC 점수를 달성한다.

ABSTRACT

Anomaly detection and localization are important problems in computer vision. Recently, Convolutional Neural Network (CNN) has been used for visual inspection. In particular, the scarcity of anomalous samples increases the difficulty of this task, and unsupervised leaning based methods are attracting attention. We focus on Student-Teacher Feature Pyramid Matching (STPM) which can be trained from only normal images with small number of epochs. Here we proposed a powerful method which compensates for the shortcomings of STPM. Proposed method consists of two students and two teachers that a pair of student-teacher network is the same as STPM. The other student-teacher network has a role to reconstruct the features of normal products. By reconstructing the features of normal products from an abnormal image, it is possible to detect abnormalities with higher accuracy by taking the difference between them. The new student-teacher network uses attention modules and different teacher network from the original STPM. Attention mechanism acts to successfully reconstruct the normal regions in an input image. Different teacher network prevents looking at the same regions as the original STPM. Six anomaly maps obtained from the two student-teacher networks are used to calculate the final anomaly map. Student-teacher network for reconstructing features improved AUC scores for pixel level and image level in comparison with the original STPM.

연구 동기 및 목표

• 제한되거나 이상 데이터가 없는 훈련 데이터를 가진 산업 영상에서 이상을 탐지하는 과제를 해결하기 위해.
• 특징 복원 정밀도가 떨어지는 학생-교수 특징 피라미드 매칭(STPM) 방법의 성능을 향상시키기 위해.
• 주목력 메커니즘을 갖춘 전용 복원 브랜치를 도입하여 이상 국소화 및 탐지 정확도를 향상시키기 위해.
• 원래의 STPM와는 달리 복원 브랜치에서 다른 교수 네트워크를 사용하여 특징 학습의 부족함을 줄이기 위해.
• 두 개의 서로 다른 학생-교수 네트워크에서 유도된 다수의 이상 지도를 조합하여 보다 강력한 최종 이상 예측을 얻기 위해.

제안 방법

• 이 방법은 두 개의 병렬 학생-교수 네트워크를 사용한다: 하나는 표준 특징 피라미드 매칭(STPM)을 위한 것이고, 다른 하나는 정상 이미지의 특징을 복원하기 위한 것이다.
• 복원 브랜치는 입력 이미지에서 특징을 예측하는 학생 네트워크를 사용하고, 복원 과정을 안내하기 위해 별도의 교수 네트워크가 감독 역할을 한다.
• 주목력 메커니즘이 복원 브랜치에 통합되어 정상 영역에 집중함으로써 특징 복원 품질을 향상시킨다.
• 주목력 모듈은 공간적으로 일관되고 의미적으로 유의미한 영역에 주목함으로써 복원 정밀도를 향상시킨다.
• 두 네트워크 간의 특징 비교를 통해 STPM 브랜치에서 세 개, 복원 브랜치에서 세 개의 이상 지도 총 여섯 개를 생성한다.
• 최종 이상 지도는 여섯 개의 개별 이상 지도를 집계하여 전체 탐지 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 주목력 기반 복원 브랜치를 도입함으로써 비지도 환경에서 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 복원 브랜치에서 다른 교수 네트워크를 사용하면 특징의 중복을 방지하고 일반화 능력을 향상시킬 수 있는가?
• RQ3 주목력 기반 특징 복원은 이상을 탐지하는 데 있어 표준 특징 매칭보다 어떻게 비교되는가?
• RQ4 다른 학생-교수 구성에서 유도된 다수의 이상 지도를 조합하면 탐지 및 국소화 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법은 픽셀 수준 및 이미지 수준 이상 탐지에서 원래의 STPM 대비 AUC 측정치에서 어느 정도 뛰어난가?

주요 결과

• 제안된 방법은 픽셀 수준 및 이미지 수준 이상 탐지 벤치마크에서 원래의 STPM보다 높은 AUC 점수를 달성한다.
• 주목력 메커니즘이 정상 영역의 특징 복원 품질을 크게 향상시켜, 특히 이상이 있는 이미지의 정상 영역에서 두드러진다.
• 복원 브랜치에서 다른 교수 네트워크를 사용함으로써 특징 중복을 줄이고 모델의 일반화 능력을 향상시킨다.
• 두 개의 서로 다른 학생-교수 네트워크에서 유도된 여섯 개 이상 지도의 집계는 보다 강력하고 정확한 이상 국소화를 이끈다.
• 복원 기반 브랜치는 미세하거나 복잡한 이상이 있는 경우에 특히 의미 있는 기여를 한다.
• 훈련 시 정상 이미지만을 사용함에도 불구하고 뛰어난 성능을 보이며, 저자료 이상 탐지 시나리오에서의 효과성을 확인한다.