[论文解读] Disentanglement for Discriminative Visual Recognition

Xiaofeng Liu|arXiv (Cornell University)|Jun 14, 2020

Face and Expression Recognition参考文献 88被引用 4

一句话总结

本文提出了一种用于判别性视觉识别的解耦框架，明确将身份不变特征与姿态、光照、表情等任务无关的变异分离。该框架将深度度量学习与对抗性训练统一于双分支网络中，在面部表情识别、伪装下的人脸识别以及属性预测任务上实现了最先进性能，通过强制对语义和潜在变异的不变性实现。

ABSTRACT

Recent successes of deep learning-based recognition rely on maintaining the content related to the main-task label. However, how to explicitly dispel the noisy signals for better generalization in a controllable manner remains an open issue. For instance, various factors such as identity-specific attributes, pose, illumination and expression affect the appearance of face images. Disentangling the identity-specific factors is potentially beneficial for facial expression recognition (FER). This chapter systematically summarize the detrimental factors as task-relevant/irrelevant semantic variations and unspecified latent variation. In this chapter, these problems are casted as either a deep metric learning problem or an adversarial minimax game in the latent space. For the former choice, a generalized adaptive (N+M)-tuplet clusters loss function together with the identity-aware hard-negative mining and online positive mining scheme can be used for identity-invariant FER. The better FER performance can be achieved by combining the deep metric loss and softmax loss in a unified two fully connected layer branches framework via joint optimization. For the latter solution, it is possible to equipping an end-to-end conditional adversarial network with the ability to decompose an input sample into three complementary parts. The discriminative representation inherits the desired invariance property guided by prior knowledge of the task, which is marginal independent to the task-relevant/irrelevant semantic and latent variations. The framework achieves top performance on a serial of tasks, including lighting, makeup, disguise-tolerant face recognition and facial attributes recognition. This chapter systematically summarize the popular and practical solution for disentanglement to achieve more discriminative visual recognition.

研究动机与目标

• 解决噪声性、与任务无关的变异（如光照、姿态、表情）对视觉识别泛化能力的负面影响问题。
• 开发一种可控方法，从深度表征中解耦身份特异性属性与判别性特征。
• 通过强制对无关语义和潜在变异的不变性，提升面部表情识别（FER）及相关任务的性能。
• 统一度量学习与对抗性训练，实现解耦表征的端到端优化。

提出的方法

• 将解耦建模为使用广义自适应(N+M)-元组聚类损失函数的深度度量学习问题。
• 引入身份感知的难样本负样本挖掘与在线正样本挖掘，以增强度量空间中的特征判别能力。
• 采用双分支全连接网络架构，联合优化Softmax损失与度量损失，以提升表征学习效果。
• 使用条件对抗网络将输入图像分解为三个互补成分：解耦的判别性特征、与任务相关的变异，以及无关变异。
• 通过对抗性训练，在判别性表征与与任务无关的语义/潜在变异之间施加边缘独立性。
• 利用任务先验知识引导解耦过程，确保对非身份因素的不变性。

实验结果

研究问题

• RQ1 如何有效应用解耦以提升判别性视觉识别任务中的泛化能力？
• RQ2 显式去除光照和表情等与任务无关的变异对面部表情识别性能有何影响？
• RQ3 结合度量学习与对抗性训练的统一框架是否能实现优于单一方法的解耦效果？
• RQ4 在判别性特征与无关变异之间强制边缘独立性，对伪装和环境变化的鲁棒性有何影响？
• RQ5 解耦表征在如人脸识别和属性预测等多样化视觉识别任务中，其泛化能力能达到何种程度？

主要发现

• 所提方法在光照和表情变化等挑战性条件下，实现了面部表情识别的最先进性能。
• 在双分支网络中联合使用度量损失与Softmax损失，显著提升了特征判别能力与识别准确率。
• 对抗性解耦框架成功分离出身份不变特征，在抗伪装人脸识别任务中达到顶尖性能。
• 通过对抗性训练强制不变性，模型对姿态和表情等未指定潜在变异表现出强鲁棒性。
• 该框架在多个任务上泛化良好，包括面部属性识别与光照鲁棒人脸识别，优于基线方法。