[论文解读] Attention Control with Metric Learning Alignment for Image Set-based Recognition

Xiaofeng Liu, Zhenhua Guo+2 more|arXiv (Cornell University)|Aug 5, 2019

Face recognition and analysis参考文献 62被引用 9

一句话总结

本文提出了一种基于强化学习的注意力控制框架DAC，用于基于图像集的人脸识别，通过马尔可夫决策过程建模图像间的依赖关系，并利用演员-评论家学习动态分配注意力权重。该方法在IJB-A/B/C和YTF数据集上实现了最先进性能，通过减少冗余并利用多样化、高质量的图像，使识别任务的Rank-1准确率最高提升8.68%。

ABSTRACT

This paper considers the problem of image set-based face verification and identification. Unlike traditional single sample (an image or a video) setting, this situation assumes the availability of a set of heterogeneous collection of orderless images and videos. The samples can be taken at different check points, different identity documents $etc$. The importance of each image is usually considered either equal or based on a quality assessment of that image independent of other images and/or videos in that image set. How to model the relationship of orderless images within a set remains a challenge. We address this problem by formulating it as a Markov Decision Process (MDP) in a latent space. Specifically, we first propose a dependency-aware attention control (DAC) network, which uses actor-critic reinforcement learning for attention decision of each image to exploit the correlations among the unordered images. An off-policy experience replay is introduced to speed up the learning process. Moreover, the DAC is combined with a temporal model for videos using divide and conquer strategies. We also introduce a pose-guided representation (PGR) scheme that can further boost the performance at extreme poses. We propose a parameter-free PGR without the need for training as well as a novel metric learning-based PGR for pose alignment without the need for pose detection in testing stage. Extensive evaluations on IJB-A/B/C, YTF, Celebrity-1000 datasets demonstrate that our method outperforms many state-of-art approaches on the set-based as well as video-based face recognition databases.

研究动机与目标

• 解决在无序、异构图像和视频组成的图像集中建模图像间关系的挑战。
• 克服现有注意力机制中冗余和低效的问题，这些机制将图像重要性独立于集合上下文进行处理。
• 开发一种可扩展的端到端方法，用于基于集合的人脸验证与识别，以捕捉集合内和集合间的关系。
• 引入一种无需推理阶段姿态检测的姿势引导表征方案，以提升极端姿态下的性能。
• 在IJB-A、IJB-B、IJB-C和YTF等基准数据集上实现最先进性能。

提出的方法

• 将图像集的注意力控制建模为潜在空间中的马尔可夫决策过程（MDP），实现在图像集上的序列决策。
• 提出一种依赖感知的注意力控制（DAC）网络，采用演员-评论家深度强化学习，基于图像间的相关性动态分配注意力权重。
• 采用离策略经验回放，以加速强化学习框架中的训练并提高样本效率。
• 通过RNN或TempConv实现时序建模，采用分而治之策略将帧级注意力与序列级表征相结合。
• 引入一种无参数的姿势引导表征（PGR）和基于度量学习的PGR，以在不进行姿态估计的情况下对齐极端姿态下的特征。
• 利用度量学习对齐不同姿态下的表征，提升对姿态变化的鲁棒性，且无需额外训练或检测。

实验结果

研究问题

• RQ1 强化学习能否有效应用于建模无序图像集中的人脸识别图像间依赖关系？
• RQ2 基于上下文图像关系的注意力控制相比独立的质量加权方法，能否显著提升识别准确率？
• RQ3 无参数且基于度量学习的PGR方案是否能在无需姿态检测的情况下提升极端姿态下的性能？
• RQ4 DAC框架是否能在不同识别任务（包括验证和大规模识别）中实现良好泛化？
• RQ5 离策略训练和时序建模如何影响注意力机制的性能与收敛性？

主要发现

• 在IJB-C数据集上，DAC(off)/TempConv&ML-PGR方法相较于先前最先进方法[70]，在FAR=1e-5时的真接受率（TAR）提升了6.4%。
• 在IJB-B数据集上，该方法相比基于双向LSTM的方法[55]，Rank-1识别准确率提升了4%，达到94.0%的Rank-1准确率。
• 在闭集识别任务中，DAC方法在1000类设置下相比基线方法将Rank-1准确率提升了8.68%。
• DAC中的连续动作空间在所有数据集上均显著优于离散（删除/保留）基线，证明了细粒度注意力控制的优势。
• 离策略训练实现了更快的收敛速度和更稳定的训练过程，并在所有基准数据集上均获得一致的性能提升。
• 所提出的基于度量学习的PGR在无需姿态检测的情况下实现了优越性能，有效应对极端姿态变化。