[论文解读] Facial Action Unit Detection via Adaptive Attention and Relation

Zhiwen Shao, Lixin Zou+3 more|arXiv (Cornell University)|Jan 5, 2020

Emotion and Mood Recognition参考文献 29被引用 5

一句话总结

该论文提出了一种用于面部动作单元（AU）检测的自适应注意力与关系（AAR）框架，通过自适应注意力回归网络将基于关键点的局部注意力与可学习的全局注意力相结合，同时利用自适应图卷积网络建模特定于AU的时空依赖关系。该方法在受限（BP4D、DISFA、GFT）和非受限（Aff-Wild2）基准上实现了最先进性能，精确学习区域相关性并有效处理AU动态变化。

ABSTRACT

Facial action unit (AU) detection is challenging due to the difficulty in capturing correlated information from subtle and dynamic AUs. Existing methods often resort to the localization of correlated regions of AUs, in which predefining local AU attentions by correlated facial landmarks often discards essential parts, or learning global attention maps often contains irrelevant areas. Furthermore, existing relational reasoning methods often employ common patterns for all AUs while ignoring the specific way of each AU. To tackle these limitations, we propose a novel adaptive attention and relation (AAR) framework for facial AU detection. Specifically, we propose an adaptive attention regression network to regress the global attention map of each AU under the constraint of attention predefinition and the guidance of AU detection, which is beneficial for capturing both specified dependencies by landmarks in strongly correlated regions and facial globally distributed dependencies in weakly correlated regions. Moreover, considering the diversity and dynamics of AUs, we propose an adaptive spatio-temporal graph convolutional network to simultaneously reason the independent pattern of each AU, the inter-dependencies among AUs, as well as the temporal dependencies. Extensive experiments show that our approach (i) achieves competitive performance on challenging benchmarks including BP4D, DISFA, and GFT in constrained scenarios and Aff-Wild2 in unconstrained scenarios, and (ii) can precisely learn the regional correlation distribution of each AU.

研究动机与目标

• 解决固定局部注意力图和AU检测中噪声全局注意力的局限性。
• 建模超越共享关系模式的动态、特定于AU的空间与时间依赖性。
• 提升在真实世界面部表情中对对齐错误与遮挡的鲁棒性。
• 为每个AU学习精确的区域相关性分布，而无需依赖刚性先验。
• 在统一的自适应注意力学习机制中整合局部与全局依赖关系。

提出的方法

• 自适应注意力回归网络通过结合基于关键点的预定义注意力与特征驱动的优化，为每个AU学习注意力图，从而实现局部与全局依赖关系的捕捉。
• 该网络使用回归头在AU检测的监督下预测注意力图，实现对每个样本的动态自适应。
• 自适应时空图卷积网络利用可学习的、与AU相关的图结构，建模特定于AU的模式、AU间依赖关系以及时间动态。
• 图结构按每个AU动态更新，使不同AU具有独立的推理模式，而非共享参数。
• 该框架联合优化AU检测与注意力学习，其中注意力预定义作为正则化项，抑制无关区域。
• 该方法在受限与非受限数据集上端到端训练，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 结合关键点先验与特征驱动优化的自适应注意力学习是否能提升AU检测的准确性？
• RQ2 在图网络中采用特定于AU的关系推理是否能优于共享参数的关系模型？
• RQ3 局部与全局注意力的融合是否能实现对每个AU更精确的区域相关性学习？
• RQ4 所提出方法在真实世界场景中对面部对齐错误与遮挡的鲁棒性如何？
• RQ5 自适应图网络是否能有效建模序列面部表情中的AU间依赖关系与时间动态？

主要发现

• AAR框架在BP4D、DISFA、GFT和Aff-Wild2基准上，在受限与非受限场景下均实现了最先进性能。
• 该方法精确学习了每个AU的区域相关性分布，有效抑制了注意力图中的无关区域。
• 消融实验确认，自适应注意力回归与自适应图组件均显著提升了AU检测性能。
• 可视化结果表明，所学习的注意力图即使在遮挡或对齐错误情况下也能准确定位与AU相关区域，优于先前的自适应方法。
• 与仅依赖预定义或完全学习的注意力方法相比，该框架在关键点对齐错误与部分遮挡下表现出更优的鲁棒性。
• 自适应图网络成功捕捉了特定于AU的模式与时间依赖性，性能优于共享参数的关系模型。