[论文解读] Leveraging Expert Models for Training Deep Neural Networks in Scarce Data Domains: Application to Offline Handwritten Signature Verification

Dimitrios Tsourounis, Ilias Theodorakopoulos+2 more|arXiv (Cornell University)|Aug 2, 2023

Handwritten Text Recognition TechniquesComputer Science被引用 3

一句话总结

本文提出了一种学生-教师知识蒸馏框架，利用预训练的专家模型在数据稀缺环境下训练深度神经网络，以实现离线手写签名验证。通过仅使用手写文本数据监督基于特征的知识蒸馏——结合基于图的局部与全局相似性度量——模型在特征提取训练过程中无需任何签名数据，即可实现与教师模型相当或更优的性能。

ABSTRACT

This paper introduces a novel approach to leverage the knowledge of existing expert models for training new Convolutional Neural Networks, on domains where task-specific data are limited or unavailable. The presented scheme is applied in offline handwritten signature verification (OffSV) which, akin to other biometric applications, suffers from inherent data limitations due to regulatory restrictions. The proposed Student-Teacher (S-T) configuration utilizes feature-based knowledge distillation (FKD), combining graph-based similarity for local activations with global similarity measures to supervise student's training, using only handwritten text data. Remarkably, the models trained using this technique exhibit comparable, if not superior, performance to the teacher model across three popular signature datasets. More importantly, these results are attained without employing any signatures during the feature extraction training process. This study demonstrates the efficacy of leveraging existing expert models to overcome data scarcity challenges in OffSV and potentially other related domains.

研究动机与目标

• 解决离线手写签名验证（OffSV）中的数据稀缺问题，其中监管和隐私限制导致难以获取真实签名数据。
• 克服现有深度学习模型在OffSV中对大规模、任务特定数据集的依赖，以实现有效训练。
• 开发一种知识蒸馏框架，将知识从专家模型迁移至学生网络，且在特征提取阶段不使用任何签名数据。
• 证明仅使用基于文本的数据进行监督即可实现与教师模型相当或更优的性能。
• 通过利用在无关但可访问的数据（如文本图像）上预训练的模型，实现在低数据环境下的迁移学习。

提出的方法

• 采用学生-教师（S-T）训练配置，其中教师模型为在相关但不同任务上预训练的专家模型（例如，文本识别）。
• 应用基于特征的知识蒸馏（FKD），将教师模型内部激活的知识迁移至学生网络。
• 使用基于图的相似性度量，评估教师与学生激活在空间位置上的局部特征对应关系。
• 将局部基于图的相似性与全局相似性度量（例如，池化特征的余弦相似性）相结合，用于监督学生网络的训练。
• 在特征提取阶段，仅使用手写文本数据训练学生网络，完全避免使用签名图像。
• 通过多组件损失函数优化学生网络，平衡特征级相似性与全局相似性，以确保鲁棒的表征学习。

实验结果

研究问题

• RQ1 能否从在无关数据（如文本）上预训练的专家模型中蒸馏知识，有效提升低数据量OffSV任务的性能？
• RQ2 当学生网络在特征学习阶段完全不使用任何签名数据时，其性能在多大程度上可达到或超过教师模型？
• RQ3 在数据稀缺环境下，基于图的局部相似性与全局相似性度量的结合在指导学生网络训练方面有多有效？
• RQ4 尽管存在领域偏移，仅使用文本数据进行蒸馏监督是否能生成在签名验证任务中可泛化的表征？
• RQ5 该方法是否可推广至其他因数据稀缺而受限的生物识别或文档分析任务？

主要发现

• 学生模型在三个标准OffSV数据集上的性能与教师模型相当或更优，尽管在训练过程中未接触任何签名数据。
• 该方法展现出强大的泛化能力，学生网络在至少一个基准数据集中表现优于教师模型。
• 结合基于图的局部相似性与全局相似性度量，显著提升了特征对齐效果与模型鲁棒性。
• 无需在签名数据上进行微调即可实现性能提升，凸显了来自无关但可访问数据源的知识迁移的有效性。
• 该方法即使在缺乏大规模签名数据集的情况下，也能实现高性能的OffSV模型，使其适用于隐私受限环境。
• 结果验证了预训练专家模型在低数据环境下可作为强大的知识来源，尤其在数据采集受限时更具优势。