[论文解读] End-to-End Facial Deep Learning Feature Compression with Teacher-Student Enhancement

Shurun Wang, Wenhan Yang+1 more|arXiv (Cornell University)|Feb 10, 2020

Speech and Audio Processing参考文献 22被引用 7

一句话总结

该论文提出了一种端到端的深度特征压缩框架，通过在潜在代码层面引入教师-学生增强机制，提升了面部特征表示中的率-失真权衡。通过为低比特率和高比特率场景分别训练编码器/解码器，并利用学生网络增强低比特率代码，该方法在现有方案（如PQ、OPQ和DHN）之上实现了更优性能，在LFW数据集上使用PRO-E模型实现了2.61 bpp下99.30%的准确率。

ABSTRACT

In this paper, we propose a novel end-to-end feature compression scheme by leveraging the representation and learning capability of deep neural networks, towards intelligent front-end equipped analysis with promising accuracy and efficiency. In particular, the extracted features are compactly coded in an end-to-end manner by optimizing the rate-distortion cost to achieve feature-in-feature representation. In order to further improve the compression performance, we present a latent code level teacher-student enhancement model, which could efficiently transfer the low bit-rate representation into a high bit rate one. Such a strategy further allows us to adaptively shift the representation cost to decoding computations, leading to more flexible feature compression with enhanced decoding capability. We verify the effectiveness of the proposed model with the facial feature, and experimental results reveal better compression performance in terms of rate-accuracy compared with existing models.

研究动机与目标

• 解决深度学习面部特征在机器视觉应用中高效、紧凑表示的挑战。
• 通过利用端到端深度神经网络，超越传统方法（如乘积量化和深度哈希）的压缩效率。
• 通过潜在代码增强实现自适应地将表示成本从编码阶段转移到解码阶段，从而实现灵活的特征解码。
• 在面部验证基准测试中，相比最先进特征压缩技术，展示出更优的率-准确率性能。

提出的方法

• 采用端到端训练的自编码器架构，配备独立的低比特率和高比特率编码器与解码器，以优化率-失真权衡。
• 采用标量量化（SQ）后接熵编码，从原始128D FaceNet特征生成紧凑的比特流。
• 引入潜在代码层面的教师-学生增强模块，其中学生网络将低比特率代码增强为高保真表示。
• 通过原始特征与增强后特征之间的均方误差（MSE）损失训练增强网络，以提升重建保真度。
• 使用自适应矩估计（Adam）优化器，并在λ值范围从1×10⁻⁴到1×10⁻⁷之间进行训练，以学习不同比特率下的模型。
• 在训练过程中应用裁剪和噪声增强，以稳定优化并提升泛化能力。

实验结果

研究问题

• RQ1 基于端到端深度学习的特征压缩是否能在面部特征的率-准确率权衡上超越经典方法（如PQ、OPQ和DBH）？
• RQ2 潜在代码层面的知识蒸馏（教师-学生增强）在不增加比特率的前提下，能在多大程度上提升重建质量？
• RQ3 所提出的框架如何在不同比特率下平衡编码复杂度与解码能力？
• RQ4 该方法是否能在显著减小比特率的同时，实现接近原始模型性能（99.32%准确率）？
• RQ5 增强模块是否通过利用高比特率解码能力，使低比特率下获得更好的性能？

主要发现

• 所提出的PRO-E模型在2.61 bpp下实现了99.30%的面部验证准确率，优于原始FaceNet模型（全精度下99.32%）及所有基线模型。
• 在2.61 bpp下，PRO-E实现99.30%准确率，而无增强的PRO模型为99.27%，表明通过潜在代码增强实现了0.03%的性能提升。
• SQ-E模型在0.81 bpp下实现98.63%准确率，优于仅使用标量量化（SQ）的98.48%。
• PRO模型在2.61 bpp下实现99.30%准确率，优于PQ（4.00 bpp下98.43%）、OPQ（4.00 bpp下99.25%）和DHN（2.00 bpp下98.70%）。
• AUC和EER曲线（图4和图5）显示，PRO-E在所有比特率下均表现出一致的性能提升，证实了增强机制的鲁棒性。
• 该方法支持在高复杂度解码与高比特率表示之间自适应切换，增强了实时机器视觉系统中的灵活性。