[论文解读] Automated Synthetic-to-Real Generalization

Wuyang Chen, Zhiding Yu+2 more|arXiv (Cornell University)|Jul 14, 2020

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出自动化合成到真实数据泛化（ASG）方法，通过保留ImageNet预训练表征并利用表征相似性指导与学习优化（L2O）实现自动分层学习率调度，从而提升从合成数据到真实数据的零样本迁移性能。该方法在无需真实数据的情况下实现最先进（SOTA）的泛化效果，优于启发式方法，并可无缝集成至现有框架。

ABSTRACT

Models trained on synthetic images often face degraded generalization to real data. As a convention, these models are often initialized with ImageNet pre-trained representation. Yet the role of ImageNet knowledge is seldom discussed despite common practices that leverage this knowledge to maintain the generalization ability. An example is the careful hand-tuning of early stopping and layer-wise learning rates, which is shown to improve synthetic-to-real generalization but is also laborious and heuristic. In this work, we explicitly encourage the synthetically trained model to maintain similar representations with the ImageNet pre-trained model, and propose a extit{learning-to-optimize (L2O)} strategy to automate the selection of layer-wise learning rates. We demonstrate that the proposed framework can significantly improve the synthetic-to-real generalization performance without seeing and training on real data, while also benefiting downstream tasks such as domain adaptation. Code is available at: https://github.com/NVlabs/ASG.

研究动机与目标

• 探究ImageNet预训练知识在合成到真实数据泛化中的作用，尽管其具有关键影响，但常被忽视。
• 通过将迁移学习建模为持续学习问题，解决合成训练模型在真实数据上泛化能力差的问题。
• 通过学习优化（L2O）框架，自动化手动且启发式的训练调度调优，特别是分层学习率的调整。
• 开发一种代理引导的优化策略，在合成微调过程中保持与ImageNet模型的表征相似性。
• 实现与现有迁移学习流水线的即插即用集成，无需额外的真实数据微调。

提出的方法

• 该方法使用合成训练模型与ImageNet预训练模型之间的表征相似性作为代理损失，以指导训练过程。
• 将合成到真实数据的迁移建模为持续学习问题，即模型在学习新任务（合成数据）的同时保留旧任务（ImageNet）的知识。
• 训练一个基于强化学习的L2O（RL-L2O）模块，以预测最优的分层学习率，从而提升泛化性能。
• RL-L2O智能体在训练过程中观察梯度和损失值，并为每层输出自适应学习率，以最小化代理损失。
• 该框架设计为即插即用模块，无需修改模型架构，也无需额外的真实数据微调。
• 代理指导仅在合成数据训练期间应用，优化过程中完全不访问真实图像。

实验结果

研究问题

• RQ1 保留ImageNet预训练表征对合成到真实数据泛化性能有何影响？
• RQ2 在合成训练过程中，与ImageNet模型的表征相似性能否作为泛化性能的有效代理？
• RQ3 学习到的优化策略能否自动选择分层学习率以提升合成到真实数据的迁移性能？
• RQ4 所提方法在无需真实数据适应的情况下，是否能在不同下游任务和数据集上实现泛化？
• RQ5 与手工设计的超参数调度相比，RL-L2O策略在性能和鲁棒性方面表现如何？

主要发现

• 所提出的ASG框架在VisDA-17及其他基准测试中显著提升了合成到真实数据的泛化性能，优于早期停止和固定学习率等启发式方法。
• 与ImageNet预训练模型的表征相似性可作为泛化性能的强代理，实现在无真实数据情况下的有效优化。
• RL-L2O模块学习到可解释且高效的分层学习率策略，在性能和稳定性上均优于手工设计的调度方案。
• 该方法在VisDA-17和领域自适应基准测试中实现了最先进结果，且训练过程中完全无需真实数据。
• 代理指导具有可迁移性，对多个下游任务均有效，展现出跨任务泛化能力。
• 该框架可作为即插即用模块部署，无需修改网络架构，即可无缝集成至现有训练流水线。