[论文解读] Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning

Chaohui Yu, Jindong Wang+2 more|arXiv (Cornell University)|Mar 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 9

一句话总结

本文提出了一种统一的剪枝方法——迁移通道剪枝（TCP），通过联合剪枝冗余通道并减少域间分布差异，加速深度无监督域自适应（UDA）模型。TCP在VGG16上实现高达26%的FLOPs减少，在ResNet50上实现12%的FLOPs减少，同时达到或优于基线模型的准确率，成为首个针对UDA模型的有效网络压缩方法。

ABSTRACT

Deep unsupervised domain adaptation (UDA) has recently received increasing attention from researchers. However, existing methods are computationally intensive due to the computation cost of Convolutional Neural Networks (CNN) adopted by most work. To date, there is no effective network compression method for accelerating these models. In this paper, we propose a unified Transfer Channel Pruning (TCP) approach for accelerating UDA models. TCP is capable of compressing the deep UDA model by pruning less important channels while simultaneously learning transferable features by reducing the cross-domain distribution divergence. Therefore, it reduces the impact of negative transfer and maintains competitive performance on the target task. To the best of our knowledge, TCP is the first approach that aims at accelerating deep UDA models. TCP is validated on two benchmark datasets-Office-31 and ImageCLEF-DA with two common backbone networks-VGG16 and ResNet50. Experimental results demonstrate that TCP achieves comparable or better classification accuracy than other comparison methods while significantly reducing the computational cost. To be more specific, in VGG16, we get even higher accuracy after pruning 26% floating point operations (FLOPs); in ResNet50, we also get higher accuracy on half of the tasks after pruning 12% FLOPs. We hope that TCP will open a new door for future research on accelerating transfer learning models.

研究动机与目标

• 为解决深度UDA模型计算成本过高的问题，从而限制其在资源受限设备上的部署。
• 开发一种专为无监督域自适应设计的网络压缩方法，其中目标域无标签可用。
• 在剪枝过程中考虑域间分布差异，以减少负迁移。
• 构建一个通用、高效且准确的压缩框架，兼容标准深度学习库。

提出的方法

• TCP引入了迁移通道评估模块，利用域差异度量指标，联合评估源域和目标域中通道的重要性。
• 该方法基于通道对最小化域间分布差异（如MMD）的贡献，迭代剪枝重要性较低的通道。
• 在源域和目标域分支上同时进行剪枝，以保持特征迁移能力并减少负迁移。
• 框架采用端到端训练，统一优化目标平衡准确率与压缩率。
• 其采用VGG16和ResNet50等标准CNN架构作为骨干网络，确保与现有UDA模型的兼容性。
• 该方法具有通用性，无需专用硬件或软件，可轻松集成至标准深度学习流水线中。

实验结果

研究问题

• RQ1 是否可以在不依赖目标域标签的前提下，有效将通道剪枝应用于无监督域自适应？
• RQ2 对源域和目标域特征进行联合剪枝，是否能减少负迁移并提升模型泛化能力？
• RQ3 统一剪枝框架是否能在UDA设置下超越分阶段或独立剪枝策略？
• RQ4 TCP在保持或提升目标域分类准确率的同时，能在多大程度上减少FLOPs？
• RQ5 与基线方法相比，剪枝后的模型是否保留了更强的特征可分性和域对齐能力？

主要发现

• 在基于VGG16的模型中，TCP在实现26% FLOPs减少的同时，分类准确率高于基线，证明了剪枝带来的性能增益。
• 在ResNet50上，TCP在12% FLOPs减少后，一半任务的准确率得到提升，表明其具备鲁棒性与有效性。
• 在所有压缩率下，TCP均优于两阶段剪枝和消融变体（TCP_w/o_DA），证实了联合域感知剪枝的重要性。
• t-SNE可视化显示，TCP在目标域上生成更具可分性且更清晰分离的特征，表明其迁移能力更强。
• 剪枝优先作用于VGG16和ResNet50的高层网络，因为这些层冗余度更高，与低层更可能保留共享的、可迁移的特征这一观察结果一致。
• 剪枝后的模型保持了较强的域对齐能力，表现为域间分布差异减小，且目标样本聚类更加紧密。