[논문 리뷰] Attentioned Convolutional LSTM InpaintingNetwork for Anomaly Detection in Videos

Itamar Ben-Ari, Ravid Shwartz-Ziv|arXiv (Cornell University)|2018. 11. 26.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 4

한 줄 요약

이 논문은 부분적으로 마스킹된 프레임과 이전 프레임을 입력으로 사용하여 현재 프레임을 재구성함으로써 비지도 비디오 이상 탐지용 주의 메커니즘을 통합한 컨볼루션-LSTM 인painting 네트워크를 제안한다. 모델은 공간-시계열적 맥락 모델링을 향상시키기 위해 컨볼루션 주의 메커니즘을 사용하며, 재구성 오차(로그우도)를 이상도수로 활용하여 손상된 Moving MNIST 벤치마크에서 87%의 등오차율(EER)을 달성하여 VPN 및 Conv-LSTM 기반 모델보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a semi-supervised model for detecting anomalies in videos inspiredby the Video Pixel Network [van den Oord et al., 2016]. VPN is a probabilisticgenerative model based on a deep neural network that estimates the discrete jointdistribution of raw pixels in video frames. Our model extends the Convolutional-LSTM video encoder part of the VPN with a novel convolutional based attentionmechanism. We also modify the Pixel-CNN decoder part of the VPN to a frameinpainting task where a partially masked version of the frame to predict is given asinput. The frame reconstruction error is used as an anomaly indicator. We test ourmodel on a modified version of the moving mnist dataset [Srivastava et al., 2015]. Our model is shown to be effective in detecting anomalies in videos. This approachcould be a component in applications requiring visual common sense.

연구 동기 및 목표

• 엣지 디바이스에서 효율적으로 작동하는 실시간 비지도 비디오 이상 탐지 시스템을 개발하는 것.
• 동적 컨볼루션 주의 메커니즘 통합을 통해 비디오 재구성 기반 이상 탐지에서 공간적 및 시간적 맥락 모델링을 향상시키는 것.
• 일련의 마스킹된 컨볼루션을 필요로 하지 않고도 병렬 추론을 가능하게 하기 위해 부분 마스킹된 입력 프레임을 사용하는 것.
• 비디오 시퀀스에서 공간적(픽셀 손상) 및 시간적(프레임 순서 뒤바꿈) 이상을 탐지하는 데에 제안된 아키텍처의 효과성을 평가하는 것.

제안 방법

• 모델은 비디오 프레임 시퀀스에서 스파티오퍼럴 특징을 추출하기 위해 컨볼루션-LSTM 인코더를 사용한다.
• 새로운 기반 컨볼루션 주의 메커니즘이 입력에 따라 결정되는 필터를 생성하여 맥락 윈도우 내 국소 공간적 구조 인식 능력을 향상시킨다.
• 디코더의 입력은 부분 마스킹된 현재 프레임(격자 마스크를 통해 약 95%의 픽셀이 마스킹됨)이며, 이는 마스킹되지 않은 이웃 맥락을 사용하여 누락 영역을 재구성하도록 모델을 유도한다.
• 디코더는 수정된 Pixel-CNN이며, 마스킹 컨볼루션을 사용하여 자동적으로 의존성 흐름을 유지하면서 병렬로 픽셀 값을 예측함으로써 프레임 인페인팅을 수행한다.
• 손실 함수는 예측된 분포에 기반한 진짜 픽셀 값의 음의 로그우도이며, 이상도수로 사용된다.
• 추론 과정에서 낮은 로그우도 값은 이상을 나타내며, 모델이 예측되지 않은 또는 손상된 픽셀 값에 낮은 확률을 할당하기 때문이다.

실험 결과

연구 질문

• RQ1 표준 전역 주의 또는 주의 없이 비교할 때, 컨볼루션 주의 메커니즘이 비디오 재구성 기반 이상 탐지에서 공간 맥락 모델링을 향상시키는가?
• RQ2 부분 마스킹된 프레임을 입력으로 사용하면 재구성 품질을 유지하면서도 효과적인 병렬 추론이 가능한가?
• RQ3 제안된 모델은 비디오 시퀀스에서 공간적 및 시간적 이상을 탐지하는 데 있어 기준 모델(VPN 및 Conv-LSTM)과 비교해 어떻게 성능을 내는가?
• RQ4 주의 메커니즘과 마스킹 인페인팅의 조합이 벤치마크 데이터셋에서 이상 탐지 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 손상된 Moving MNIST 데이터셋에서 87%의 등오차율(EER)을 달성하여 기준 모델인 Conv-LSTM(70.3%) 및 VPN(82.1%)을 모두 능가한다.
• 마스킹된 프레임 입력을 제거하면 성능이 84.6% EER로 떨어지며, 이는 마스킹된 입력이 효과적인 인페인팅과 이상 탐지 기능을 수행하는 데 핵심적인 역할을 한다는 것을 보여준다.
• 컨볼루션 주의 메커니즘을 생략할 경우 EER가 85.7%로 증가하여 주의 메커니즘이 국소 공간적 구조를 포착하는 데 모델의 능력을 크게 향상시킨다는 것을 확인한다.
• 모델은 3×3 검은 픽셀 손상과 같은 공간적 이상과, 프레임 순서 뒤바꿈과 같은 시간적 이상을 모두 성공적으로 탐지하며, 손실 맵의 해당 영역에서 높은 손실 값이 관찰된다.
• 재구성 오차(로그우도)는 이상 픽셀을 효과적으로 식별하며, 예를 들어 0값을 가진 검은 사각형과 같은 손상된 픽셀에 대해 낮은 확률 예측을 한다.
• 약 95%의 픽셀이 마스킹된 격자 마스크를 사용함으로써 모델은 공간적 손상에 대비해 시간적 맥락과 마스킹되지 않은 이웃 픽셀에 의존하게 되어 강건성이 향상된다.