[论文解读] Detecting Anomalous Faces with 'No Peeking' Autoencoders

Anand Bhattad, Jason Rock+1 more|arXiv (Cornell University)|Feb 15, 2018

Anomaly Detection Techniques and Applications参考文献 21被引用 7

一句话总结

本文提出了一种新颖的“不偷看”自编码器方法，通过仅使用正常人脸训练自编码器来修复缺失的图像块，从而基于重建误差检测异常人脸。该方法在监督和无监督设置下均优于强基线模型，即使在罕见异常情况下也能实现高检测率，并在不同数据集规模下表现出稳健性。

ABSTRACT

Detecting anomalous faces has important applications. For example, a system might tell when a train driver is incapacitated by a medical event, and assist in adopting a safe recovery strategy. These applications are demanding, because they require accurate detection of rare anomalies that may be seen only at runtime. Such a setting causes supervised methods to perform poorly. We describe a method for detecting an anomalous face image that meets these requirements. We construct a feature vector that reliably has large entries for anomalous images, then use various simple unsupervised methods to score the image based on the feature. Obvious constructions (autoencoder codes; autoencoder residuals) are defeated by a 'peeking' behavior in autoencoders. Our feature construction removes rectangular patches from the image, predicts the likely content of the patch conditioned on the rest of the image using a specially trained autoencoder, then compares the result to the image. High scores suggest that the patch was difficult for an autoencoder to predict, and so is likely anomalous. We demonstrate that our method can identify real anomalous face images in pools of typical images, taken from celeb-A, that is much larger than usual in state-of-the-art experiments. A control experiment based on our method with another set of normal celebrity images - a 'typical set', but nonceleb-A are not identified as anomalous; confirms this is not due to special properties of celeb-A.

研究动机与目标

• 解决在无法获取异常训练数据的情况下，检测罕见且视觉上相似的异常人脸图像的挑战。
• 开发一种能放大典型人脸与异常人脸之间细微差异的特征表示，以实现有效的异常检测。
• 在结合真实异常人脸和典型人脸图像的新基准数据集上评估该方法，扩展Celeb-A数据集。
• 在最小假设条件下，证明该方法在监督和无监督异常检测设置下的有效性。

提出的方法

• 该方法使用经过特殊训练的自编码器，基于周围上下文预测人脸图像中缺失的矩形块，模拟修复任务。
• 通过‘不偷看’约束，在训练过程中阻止模型访问真实块内容，确保其学习到可泛化的重建模式。
• 通过测量预测块内容与实际块内容之间的重建误差（残差）来检测异常，高误差表示异常。
• 使用残差特征结合简单的无监督评分方法，如马氏距离和局部错误发现率（lfdr）。
• 通过截断极端值来稳健估计均值和协方差，假设特征近似独立同分布。
• 使用包含真实异常人脸和典型人脸集合的新基准进行评估，实现不同数据集规模下的公平比较。

实验结果

研究问题

• RQ1 仅在正常人脸上训练的自编码器能否检测到视觉上相似但罕见的异常人脸？
• RQ2 当模型无法‘偷看’真实块内容时，基于修复的重建误差是否可作为可靠的异常评分？
• RQ3 与ResNet-50结合马氏距离的强基线相比，该方法在无监督异常检测中的表现如何？
• RQ4 该方法是否能在不依赖训练阶段异常样本的情况下泛化到未见的异常类型？
• RQ5 随着每组候选图像数量的增加，性能是否会下降或保持稳定？

主要发现

• 所提出的修复自编码器残差特征在所有数据集规模下均显著优于基线方法，包括ResNet-50结合马氏距离的方法。
• 在128张图像的集合中，异常图像始终位列前10大异常，而典型图像在超过16张图像的集合中从未进入前10名。
• 在16张图像的集合中，该方法对异常图像的召回率达到40%，而典型图像仅为20%，显示出明显的性能差距。
• 该方法对数据集规模具有鲁棒性，即使候选图像数量增加，也能保持高检测率。
• 使用非Celeb-A典型数据集的对照实验确认，该方法不依赖Celeb-A数据集的特定属性。
• 对标准化L-infinity得分进行局部错误发现率（lfdr）估计，证实异常图像始终被一致列为高度可疑，而典型图像极少被标记。