[논문 리뷰] AND: Autoregressive Novelty Detectors.

Davide Abati, Angelo Porrello외 2명|arXiv (Cornell University)|2018. 07. 04.

Anomaly Detection Techniques and Applications참고 문헌 57인용 수 19

한 줄 요약

이 논문은 깊이 있는 오토에인코더와 자동회귀 모듈을 사용하여 압축된 잠재 코드의 가능도를 최대화하는 비지도 일종 이상 탐지 모델인 AND(Autoregressive Novelty Detectors)를 제안한다. 잠재 표현의 밀도를 자동회귀로 모델링함으로써, 이상 레이블이 없는 데이터를 요구하지 않고도 이미지 및 비디오 이상 탐지 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

We propose an unsupervised model for novelty detection. The subject is treated as a density estimation problem, in which a deep neural network is employed to learn a parametric function that maximizes probabilities of training samples. This is achieved by equipping an autoencoder with a novel module, responsible for the maximization of compressed codes' likelihood by means of autoregression. We illustrate design choices and proper layers to perform autoregressive density estimation when dealing with both image and video inputs. Despite a very general formulation, our model shows promising results in diverse one-class novelty detection and video anomaly detection benchmarks.

연구 동기 및 목표

• 이상적이지 않은, 새로운 비정상 샘플을 레이블이 없는 데이터로 탐지하는 문제를 해결하기 위해.
• 자동회귀 가능도 최대화를 통해 압축된 잠재 표현의 밀도를 모델링하여 일종 이상 탐지 성능을 향상시키기 위해.
• 딥 네ural 네트워크를 사용하여 이미지 및 비디오 입력에 모두 적용 가능한 일반화 가능한 프레임워크를 설계하기 위해.
• 정상 샘플에 대해 높은 가능도, 분포 외 또는 이상 샘플에 대해 낮은 가능도를 부여하도록 학습하는 모델을 엔드 투 엔드로 훈련할 수 있도록 하기 위해.

제안 방법

• 모델은 입력 데이터를 잠재 코드로 압축하기 위해 깊이 있는 오토에인코더를 사용하며, 이는 밀도 추정의 기초가 된다.
• 압축된 잠재 코드의 가능도를 모델링하기 위해 새로운 자동회귀 모듈을 도입하여 그 공동 확률를 조건부 확률의 곱으로 분해한다.
• 자동회귀 모듈은 잠재 공간에서 정상 훈련 샘플의 로그 가능도를 최대화하도록 훈련된다.
• 이 방법은 이미지 및 비디오 데이터에 적절한 정규화 및 활성화 함수를 갖는 컨볼루션 및 디컨볼루션 네트워크와 같은 표준 딥 러닝 레이어를 사용한다.
• 이론적으로 이상 감시 없이도 정상 데이터만을 사용하여 최대 가능도 목적함수에 따라 엔드 투 엔드로 모델을 훈련한다.
• 최종 이상 탐지 점수는 잠재 표현의 음의 로그 가능도에서 유도되며, 높은 점수는 높은 이상성(노이즈)을 의미한다.

실험 결과

연구 질문

• RQ1 잠재 표현의 자동회귀 모델링이 이미지 및 비디오 데이터에서 일종 이상 탐지 성능을 향상시키는가?
• RQ2 훈련 시 이상 레이블이 제공되지 않은 상황에서 제안된 방법이 분포 외 샘플을 얼마나 효과적으로 탐지하는가?
• RQ3 이미지 및 비디오 잠재 공간에서 자동회귀 밀도 추정에 가장 효과적인 아키텍처 선택과 레이어 유형은 무엇인가?
• RQ4 제안된 방법이 이미지 및 비디오 이상 탐지에 대한 다양한 벤치마크에 일반화되는가?

주요 결과

• 제안된 AND 모델은 여러 일종 이상 탐지 벤치마크에서 경쟁적인 성능을 달성하며, 이상 레이블이 없는 조건에서도 뛰어난 일반화 성능을 보였다.
• 자동회귀 모듈은 잠재 코드의 밀도를 효과적으로 모델링하여 정상 및 이상 샘플 간의 정확한 구분을 가능하게 하였다.
• 이 방법은 비디오 이상 탐지에서 유망한 결과를 보이며, 순차적 데이터에 적합함을 시사한다.
• 일반적인 수식과 효과적인 잠재 밀도 추정 덕분에 이미지 및 비디오를 포함한 다양한 데이터 유형에서 모델의 성능이 안정적이다.