[论文解读] Edge-aware Graph Representation Learning and Reasoning for Face Parsing

Gusi Te, Yinglu Liu+3 more|arXiv (Cornell University)|Jul 22, 2020

Face recognition and analysis参考文献 36被引用 4

一句话总结

本文提出了一种边缘感知图表示学习方法（EAGRNet）用于人脸分割，将面部区域建模为图的顶点，通过图推理捕捉长距离依赖关系。通过引入边缘感知特征聚合与图卷积，该方法在Helen、CelebAMask-HQ和LaPa数据集上实现了最先进性能，且计算开销极低。

ABSTRACT

Face parsing infers a pixel-wise label to each facial component, which has drawn much attention recently. Previous methods have shown their efficiency in face parsing, which however overlook the correlation among different face regions. The correlation is a critical clue about the facial appearance, pose, expression etc., and should be taken into account for face parsing. To this end, we propose to model and reason the region-wise relations by learning graph representations, and leverage the edge information between regions for optimized abstraction. Specifically, we encode a facial image onto a global graph representation where a collection of pixels ("regions") with similar features are projected to each vertex. Our model learns and reasons over relations between the regions by propagating information across vertices on the graph. Furthermore, we incorporate the edge information to aggregate the pixel-wise features onto vertices, which emphasizes on the features around edges for fine segmentation along edges. The finally learned graph representation is projected back to pixel grids for parsing. Experiments demonstrate that our model outperforms state-of-the-art methods on the widely used Helen dataset, and also exhibits the superior performance on the large-scale CelebAMask-HQ and LaPa dataset. The code is available at https://github.com/tegusi/EAGRNet.

研究动机与目标

• 为解决现有人脸分割方法忽略面部组件间区域相关性的局限性。
• 通过在语义区域上学习图表示，建模人脸图像中的长距离上下文依赖关系。
• 通过在特征聚合过程中强调边缘像素，提升边缘精确分割能力。
• 通过基于图的抽象化，在保持高性能的同时减少计算冗余。

提出的方法

• 该方法将具有相似特征的像素聚类投影为图的顶点，使用可学习的投影矩阵进行映射。
• 在像素到顶点的特征聚合过程中应用边缘注意力机制，为边缘像素分配更高权重，以改善边界表示。
• 图卷积网络在顶点间传播信息，以推理面部区域之间的长距离关系。
• 最终的图表示被投影回像素网格，用于密集分割预测。
• 采用ResNet主干网络提取多尺度特征，随后用于构建图表示。
• 模型采用交叉熵损失与Dice损失进行端到端训练，以实现语义分割。

实验结果

研究问题

• RQ1 在人脸图像中建模区域间关系是否能提升人脸分割性能？
• RQ2 边缘感知特征聚合对人脸组件边界处的分割精度有何影响？
• RQ3 基于图的推理是否能在不带来过高计算成本的前提下，有效捕捉人脸分割中的长距离依赖？
• RQ4 所提出的图表示是否能在减少冗余的同时保留细粒度细节？

主要发现

• 在Helen数据集上，EAGRNet实现了93.2%的整体F1分数，超越了先前最先进方法。
• 在CelebAMask-HQ数据集上，该模型实现了85.1%的平均F1分数，在所有类别上均优于先前方法。
• 在LaPa数据集上，该模型实现了91.1%的平均F1分数，展现出在大规模、高分辨率数据上的强大泛化能力。
• 与非局部模块相比，该模型将FLOPs减少4倍以上，且在Nvidia P40上每张图像的推理时间仅为89ms。
• 可视化结果表明，图投影能将语义一致的区域映射到单一顶点，验证了聚类机制的有效性。
• 边缘注意力机制有效强调了边界像素，使人脸组件边界的分割结果更加清晰锐利。