[论文解读] Learning from Synthetic Data Using a Stacked Multichannel Autoencoder

Xi Zhang, Yanwei Fu+3 more|arXiv (Cornell University)|Sep 17, 2015

Domain Adaptation and Few-Shot Learning参考文献 14被引用 9

一句话总结

本文提出一种堆叠多通道自编码器（SMCAE），通过联合学习将合成数据转换为类似真实数据的表征并重建真实数据，以弥合合成数据与真实数据之间的分布差异——即‘合成差距’。该方法通过有效迁移合成数据到真实数据的知识，在人脸素描和手写数字识别任务中显著提升识别性能，使用转换后的合成数据实现最先进结果。

ABSTRACT

Learning from synthetic data has many important and practical applications. An example of application is photo-sketch recognition. Using synthetic data is challenging due to the differences in feature distributions between synthetic and real data, a phenomenon we term synthetic gap. In this paper, we investigate and formalize a general framework-Stacked Multichannel Autoencoder (SMCAE) that enables bridging the synthetic gap and learning from synthetic data more efficiently. In particular, we show that our SMCAE can not only transform and use synthetic data on the challenging face-sketch recognition task, but that it can also help simulate real images, which can be used for training classifiers for recognition. Preliminary experiments validate the effectiveness of the framework.

研究动机与目标

• 为解决合成数据与真实数据之间的领域偏移问题，即所谓的‘合成差距’，该问题阻碍了合成数据在识别任务中的有效应用。
• 开发一种统一的深度学习框架，联合从真实数据和合成数据中学习，以提升泛化能力和识别准确率。
• 证明经所提模型转换后的合成数据能够有效模拟真实数据的分布，并提升分类器性能。
• 验证SMCAE架构在减小分布偏移和提升下游识别任务方面的有效性。

提出的方法

• SMCAE框架采用多个并行的自编码器分支：一个用于真实数据的重建，另一个用于将合成数据映射到真实数据的分布。
• 通过在分支间共享隐藏层，实现参数共享与相互正则化，增强特征学习与领域对齐能力。
• 融合标准自编码器与去噪自编码器的原理，学习真实与合成数据的鲁棒且解耦的表征。
• 训练目标结合真实数据的重建损失与跨域转换损失，通过加权参数Ψ平衡两项任务。
• 合成数据通过基于控制点的形态学模型生成，控制点服从多元正态分布，从而生成多样化合成样本。
• 将转换后的合成数据用于增强真实训练数据，再输入下游分类器（如带RBF核的SVM）进行评估。

实验结果

研究问题

• RQ1 深度自编码器框架能否有效减小合成数据与真实数据分布之间的合成差距？
• RQ2 联合学习真实数据重建与合成数据到真实数据的转换是否能提升识别性能？
• RQ3 在低数据量场景下，转换后的合成数据在多大程度上能模拟真实数据并提升分类器准确率？
• RQ4 加权损失项（Ψ）的引入如何影响收敛速度与性能表现，以弥合合成差距？
• RQ5 SMCAE框架能否在不同识别任务（如人脸素描与手写数字识别）中实现良好泛化？

主要发现

• 在使用真实数据与转换后的合成数据进行训练时，SMCAE在手写数字识别任务中实现了98.9%的rank-1准确率，优于所有基线模型。
• 当仅使用转换后的合成数据时，SMCAE的F1-score达到0.989，与仅使用真实数据的性能相当，证明其能有效模拟真实数据分布。
• 将转换后合成样本数量从300增至3,300，F1-score持续且稳步提升，表明转换后数据具有高度实用性。
• 当设置加权参数γ=0（即移除Ψ项）时，rank-1准确率下降超过2%，且收敛速度变慢，验证了联合优化目标的重要性。
• 定性t-SNE可视化显示，SMCAE成功减小了素描与照片HOG特征之间的分布差距，使合成特征更接近真实特征。
• 在人脸素描与手写数字识别基准测试中，SMCAE均优于SAE-I、SAE-II与LeNet-5等替代模型。