[논문 리뷰] Learning Not to Reconstruct Anomalies

Marcella Astrid, Muhammad Zaigham Zaheer외 2명|arXiv (Cornell University)|2021. 10. 19.

Anomaly Detection Techniques and Applications인용 수 18

한 줄 요약

이 논문은 정상 데이터만으로 훈련된 자동에코더가 이상 징후를 재구성하는 것을 방지하기 위해 패치 및 스킵 프레임 변형을 통해 생성된 가짜 이상치를 활용함으로써, 일종의 비디오 이상 탐지에서 새로운 훈련 방법을 제안한다. 이 방법은 정상 및 이상 데이터 간의 구분 능력을 향상시켜, 정상 재구성 품질을 저하시키지 않은 채 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video anomaly detection is often seen as one-class classification (OCC) problem due to the limited availability of anomaly examples. Typically, to tackle this problem, an autoencoder (AE) is trained to reconstruct the input with training set consisting only of normal data. At test time, the AE is then expected to well reconstruct the normal data while poorly reconstructing the anomalous data. However, several studies have shown that, even with only normal data training, AEs can often start reconstructing anomalies as well which depletes the anomaly detection performance. To mitigate this problem, we propose a novel methodology to train AEs with the objective of reconstructing only normal data, regardless of the input (i.e., normal or abnormal). Since no real anomalies are available in the OCC settings, the training is assisted by pseudo anomalies that are generated by manipulating normal data to simulate the out-of-normal-data distribution. We additionally propose two ways to generate pseudo anomalies: patch and skip frame based. Extensive experiments on three challenging video anomaly datasets demonstrate the effectiveness of our method in improving conventional AEs, achieving state-of-the-art performance.

연구 동기 및 목표

• 정상 데이터만으로 훈련되었음에도 불구하고 표준 자동에코더가 이상 입력을 재구성하는 데서 비롯되는 한계를 해결한다.
• 일종의 분류 설정에서 기존 자동에코더의 정상 및 이상 재구성 간의 낮은 구분 능력을 극복한다.
• 이상 입력이 주어져도 자동에코더가 정상 데이터만 재구성하도록 보장하는 훈련 메커니즘을 개발한다.
• 패치 기반 및 스킵 프레임 기반의 두 가지 효과적인 가짜 이상치 생성 전략을 도입하여, 훈련 중에 분포 외 이상을 시뮬레이션한다.
• 정상 데이터 재구성 품질을 훼손시키지 않으면서도 이상 탐지 성능을 향상시킨다.

제안 방법

• 입력 유형(정상 또는 이상)에 관계없이 정상 데이터만 재구성하는 목적으로 자동에코더를 훈련한다.
• 정상 비디오 프레임에 패치 기반 가림 또는 스킵 프레임 변형을 적용하여 가짜 이상치를 생성함으로써 이상 분포를 시뮬레이션한다.
• 훈련 중에 생성된 가짜 이상치를 활용하여 모델이 이상 콘텐츠를 재구성하는 것을 명시적으로 처벌한다.
• 가짜 이상치 데이터를 훈련 손실에 통합하여, 모델이 정상 데이터 주위에 엄격히 제약을 받는 재구성 경계를 학습하도록 유도한다.
• 기존 자동에코더 아키텍처를 유지하면서 입력 유형에 관계없이 재구성 불변성을 강제하는 훈련 목표를 수정한다.
• 최소-최대 정규화된 재구성 오차 히트맵을 활용하여 개선된 이상치 국소화를 시각화하고 검증한다.

실험 결과

연구 질문

• RQ1 이상 입력이 주어져도 정상 데이터만 재구성하도록 훈련된 자동에코더가 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 패치 기반 및 스킵 프레임 기반의 가짜 이상치 생성 방법이 일종의 훈련에서 분포 외 이상을 얼마나 효과적으로 시뮬레이션하는가?
• RQ3 기존 자동에코더 및 메모리 증강 모델과 비교해 본다면, 제안된 방법이 정상 및 이상 재구성 간의 구분 능력을 향상시키는가?
• RQ4 이상 입력은 왜곡시키면서도 정상 데이터의 고품질 재구성 품질을 어느 정도 유지하는가?
• RQ5 제안된 훈련 전략이 표준 비디오 이상 탐지 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 상하이 테크, 어웨이브, 페드2의 세 가지 과도한 비디오 이상 탐지 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 패치 기반 가짜 이상치 방법은 패치 확률 p=0.2일 때 최적의 성능를 보이며, 스킵 프레임 방법은 스킵 간격 s=2,3,4,5일 때 가장 우수한 성능를 보인다.
• 정성적 결과는 모델이 정상 배경을 성공적으로 재구성하고, 이상 물체(예: 던진 배낭, 움직이는 자전거)를 억제함으로써 이상 지점에서 더 높은 재구성 오차를 생성함을 보여준다.
• MemAE와 비교해 본 결과, 제안된 모델는 더 나은 정상 재구성 품질을 유지하며, 특히 메모리 크기 제약으로 인해 성능이 저하되는 경우에 더 뛰어난 이상 구분 능력을 보인다.
• 실패 사례는 얇거나 시각적으로 눈에 띄지 않는 이상 징후(예: 스케이트보드, 유모차)는 여전히 도전 과제로 남아 있음을 시사하며, 더 정교한 가짜 이상치 설계가 필요함을 시사한다.
• 이 방법은 다양한 이상 유형에 대해 뛰어난 강건성을 보이며, 정량적 지표와 시각적 재구성 품질 측면에서 기존 자동에코더 및 MemAE를 일관되게 능가한다.