[논문 리뷰] Detecting Anomalous Faces with 'No Peeking' Autoencoders

Anand Bhattad, Jason Rock외 1명|arXiv (Cornell University)|2018. 02. 15.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 7

한 줄 요약

이 논문은 정상적인 얼굴 이미지만을 사용하여 누락된 이미지 패치를 복원하는 데 중점을 두고, 정상적인 얼굴 이미지만을 사용해 훈련된 오토인코더를 통해 이상치를 탐지하는 새로운 '노 풀링(no peeking)' 오토인코더 방법을 제안한다. 재구성 오차를 기반으로 이상치를 평가하며, 이는 감지 성능이 뛰어나며 희귀한 이상치에 대해서도 높은 탐지율을 기록하고, 다양한 데이터셋 크기에서 뛰어난 내성성을 보여준다.

ABSTRACT

Detecting anomalous faces has important applications. For example, a system might tell when a train driver is incapacitated by a medical event, and assist in adopting a safe recovery strategy. These applications are demanding, because they require accurate detection of rare anomalies that may be seen only at runtime. Such a setting causes supervised methods to perform poorly. We describe a method for detecting an anomalous face image that meets these requirements. We construct a feature vector that reliably has large entries for anomalous images, then use various simple unsupervised methods to score the image based on the feature. Obvious constructions (autoencoder codes; autoencoder residuals) are defeated by a 'peeking' behavior in autoencoders. Our feature construction removes rectangular patches from the image, predicts the likely content of the patch conditioned on the rest of the image using a specially trained autoencoder, then compares the result to the image. High scores suggest that the patch was difficult for an autoencoder to predict, and so is likely anomalous. We demonstrate that our method can identify real anomalous face images in pools of typical images, taken from celeb-A, that is much larger than usual in state-of-the-art experiments. A control experiment based on our method with another set of normal celebrity images - a 'typical set', but nonceleb-A are not identified as anomalous; confirms this is not due to special properties of celeb-A.

연구 동기 및 목표

• 이상치 학습 데이터에 접근할 수 없는 상황에서, 외관적으로 유사하지만 희귀한 이상 얼굴 이미지를 탐지하는 문제를 해결하기 위해.
• 일반적인 얼굴과 이상 얼굴 간의 미세한 차이를 부각시킬 수 있는 특징 표현을 개발하여 효과적인 이상 탐지가 가능하도록 하기 위해.
• 실제 이상 얼굴과 일반 얼굴 이미지를 포함한 새로운 벤치마크 데이터셋을 바탕으로, Celeb-A 데이터셋을 확장하여 방법의 성능을 평가하기 위해.
• 최소한의 가정을 바탕으로 지도 학습 및 비지도 학습 설정 모두에서 효과성을 입증하기 위해.

제안 방법

• 이 방법은 주변 컨텍스트를 기반으로 얼굴 이미지의 누락된 직사각형 패치를 예측하는 특별히 훈련된 오토인코더를 사용하여, 입페인팅 작업을 시뮬레이션한다.
• '노 풀링' 제약 조건을 통해 훈련 중에 진짜 패치 내용을 참조하지 못하도록 하여, 일반화 가능한 재구성 패tern을 학습하도록 보장한다.
• 예측된 패치 내용과 실제 패치 내용 간의 재구성 오차(잔차)를 측정하여 이상치를 탐지하며, 높은 오차는 이상을 나타낸다.
• 잔차 특징은 마할라노비스 거리 및 국소 거짓 발견률(lfdr)과 같은 간단한 비지도 스코링 방법과 함께 사용된다.
• 특징 정규화는 극단적인 값을 잘라내어 평균과 공분산을 강력하게 추정함으로써 수행되며, 특징들이 약간의 독립적이고 동일한 분포를 따른다고 가정한다.
• 실제 이상 얼굴과 일반 얼굴 세트를 포함한 새로운 벤치마크를 사용하여 평가되며, 다양한 데이터셋 크기 간의 공정한 비교가 가능해진다.

실험 결과

연구 질문

• RQ1 정상 얼굴 이미지만으로 훈련된 오토인코더가, 외관적으로 유사하지만 희귀한 이상 얼굴 이미지를 탐지할 수 있는가?
• RQ2 모델이 진짜 패치 내용을 '보지 못하는' 상황에서, 입페인팅 기반 재구성 오차가 신뢰할 수 있는 이상 탐지 스코어로 기능하는가?
• RQ3 비지도 이상 탐지에서 강력한 기준 모델인 ResNet-50에 마할라노비스 거리를 적용한 것과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?
• RQ4 훈련 중 이상 예제를 요구하지 않고도, 새로운 이상 유형으로 일반화할 수 있는가?
• RQ5 후보 이미지 수가 증가함에 따라 성능이 떨어지거나 안정적으로 유지되는가?

주요 결과

• 제안된 입페인팅 오토인코더 잔차 특징은, ResNet-50에 마할라노비스 거리를 적용한 기준 모델을 포함한 모든 데이터셋 크기에서 이상 탐지 성능에서 뚜렷한 우월성을 보였다.
• 128개 이미지로 구성된 세트에서 이상 이미지는 항상 상위 10개 이상의 이상치로 순위가 매겨졌고, 16개 이상의 세트에서는 일반 이미지가 상위 10위 안에 들어본 적이 없었다.
• 16개 이미지 세트에서 이상 이미지의 리콜률은 40%였고, 일반 이미지의 리콜률은 20%에 그쳐 뚜렷한 성능 격차를 보였다.
• 이 방법은 데이터셋 크기에 대해 뛰어난 내성성을 보였으며, 후보 이미지 수가 증가함에 따라 높은 탐지율을 유지했다.
• Celeb-A 외의 일반 세트를 사용한 제어 실험을 통해, 이 방법이 Celeb-A의 데이터셋 특성에 의존하지 않음을 확인했다.
• 표준화된 L-infinity 스코어에 대해 국소 거짓 발견률(lfdr)을 추정한 결과, 이상 이미지는 일관되게 매우 의심스럽게 순위가 매겨졌고, 일반 이미지는 거의 경고되지 않았다.