[论文解读] MARLIN: Masked Autoencoder for facial video Representation LearnINg

Zhixi Cai, Shreya Ghosh+6 more|arXiv (Cornell University)|Nov 12, 2022

Face recognition and analysis被引用 4

一句话总结

MARLIN 提出了一种自监督掩码自编码器，用于从非标注的网络爬取视频中学习通用的人脸视频表征。通过使用基于面部部件引导的管状掩码策略（Fasking），从密集掩码的人脸区域重建时空细节，MARLIN 在多个下游任务中实现了最先进（SOTA）的性能提升，包括在面部属性识别中实现 1.13% 的准确率提升，以及在唇部同步任务中 FID 指标提升 29.36%。

ABSTRACT

This paper proposes a self-supervised approach to learn universal facial representations from videos, that can transfer across a variety of facial analysis tasks such as Facial Attribute Recognition (FAR), Facial Expression Recognition (FER), DeepFake Detection (DFD), and Lip Synchronization (LS). Our proposed framework, named MARLIN, is a facial video masked autoencoder, that learns highly robust and generic facial embeddings from abundantly available non-annotated web crawled facial videos. As a challenging auxiliary task, MARLIN reconstructs the spatio-temporal details of the face from the densely masked facial regions which mainly include eyes, nose, mouth, lips, and skin to capture local and global aspects that in turn help in encoding generic and transferable features. Through a variety of experiments on diverse downstream tasks, we demonstrate MARLIN to be an excellent facial video encoder as well as feature extractor, that performs consistently well across a variety of downstream tasks including FAR (1.13% gain over supervised benchmark), FER (2.64% gain over unsupervised benchmark), DFD (1.86% gain over unsupervised benchmark), LS (29.36% gain for Frechet Inception Distance), and even in low data regime. Our code and models are available at https://github.com/ControlNet/MARLIN .

研究动机与目标

• 开发一种通用的、与任务无关的人脸视频编码器，无需特定任务标注即可在多样化的人脸分析任务中泛化。
• 通过利用大量非标注的人脸视频进行自监督预训练，解决人脸分析中数据稀缺和标注成本高的问题。
• 通过设计一个具有挑战性的重建任务，捕捉局部（如眼睛、嘴巴）和全局人脸动态，提升特征的可迁移性。
• 通过对抗性训练和一种新颖的面部区域引导掩码策略（Fasking）提升表征质量，其性能优于标准掩码方法。
• 通过从大规模未筛选的视频数据中学习鲁棒的通用人脸特征，实现少样本和低数据量场景下的有效性能。

提出的方法

• 提出一种掩码自编码器框架（MARLIN），利用基于 ViT 的编码器和解码器，从密集掩码的人脸区域重建时空人脸视频帧。
• 引入一种新颖的面部引导管状掩码策略（Fasking），通过 FaceXZoo 动态追踪人脸关键点，掩码关键面部区域（如眼睛、鼻子、嘴巴、嘴唇、皮肤），以促进对局部和全局人脸结构的学习。
• 采用约 90% 的掩码比率，在 CMU-MOSEI 和 FF++ 数据集上通过实证验证，以平衡重建难度与特征质量。
• 在潜在表征上引入对抗性训练，以提升重建保真度并增强所学特征的质量。
• 默认使用 ViT-B 主干作为编码器，消融研究对比了 ViT-S、ViT-B 和 ViT-L 在性能与可扩展性方面的表现。
• 在 YouTube Faces 数据集上使用掩码自编码目标进行预训练，随后在下游任务上使用极少标注数据进行微调。

Figure 1 : Overview of the proposed Masked Autoencoder for facial Representation LearnINg aka MARLIN. MARLIN aims to learn a universal facial representation from abundantly available non-annotated facial video data.

实验结果

研究问题

• RQ1 自监督掩码自编码器能否从未筛选的、非标注的人脸视频中学习到通用且可迁移的人脸表征？
• RQ2 基于面部部件的掩码策略（Fasking）是否在人脸视频表征学习中优于随机掩码、帧级掩码或标准管状掩码？
• RQ3 对抗性训练在提升重建人脸特征质量及下游人脸分析任务性能方面有何作用？
• RQ4 MARLIN 在多样化的人脸分析任务中，包括标注数据有限的任务，其泛化能力如何？
• RQ5 在人脸视频掩码自编码中，平衡重建难度与特征质量的最优掩码比率是多少？

主要发现

• 在面部属性识别（FAR）任务中，MARLIN 相较于监督基准实现了 1.13% 的绝对准确率提升，表明即使在标注数据有限的情况下仍具备强大的可迁移性。
• 在面部表情识别（FER）任务中，MARLIN 相较于无监督基准提升了 2.64%，凸显其在学习情绪敏感表征方面的有效性。
• 在深度伪造检测（DFD）任务中，MARLIN 相较于无监督基线提升了 1.86%，表明其对细微人脸操作模式具有鲁棒性。
• 在唇部同步（LS）任务中，MARLIN 相较于基线方法将 FID 指标提升了 29.36%，表明其在时空人脸运动生成质量方面表现更优。
• 消融研究证实，Fasking 掩码策略在所有下游任务中均优于随机掩码、帧级掩码和标准管状掩码，表现最佳。
• 实证发现最优掩码比约为 90%，因为过低或过高的掩码比率均会降低性能：过低则信息泄露过多，过高则重建难度过大。

Figure 2 : Architectural overview of MARLIN (Best viewed in color). MARLIN mainly consists of (a) Representation Learning Module, (b) Facial Region guided Tube Masking, and (c) Downstream Adaptation. (a) Representation Learning Module: MARLIN learns the facial representation from the unlabeled, web