[论文解读] Lightweight Unsupervised Domain Adaptation by Convolutional Filter Reconstruction

Rahaf Aljundi, Tinne Tuytelaars|Lirias (KU Leuven)|Mar 23, 2016

Domain Adaptation and Few-Shot Learning参考文献 26被引用 5

一句话总结

本文提出一种轻量级、无监督的域自适应方法，通过少量未标记的目标样本重构性能较差的首层卷积滤波器，显著提升模型在新域上的准确率，且无需微调。该方法在Office和GTSRB等基准数据集上实现了最高5%的准确率提升，计算成本极低，表明域偏移会影响甚至早期网络层，并且可在推理时高效纠正。

ABSTRACT

End-to-end learning methods have achieved impressive results in many areas of computer vision. At the same time, these methods still suffer from a degradation in performance when testing on new datasets that stem from a different distribution. This is known as the domain shift effect. Recently proposed adaptation methods focus on retraining the network parameters. However, this requires access to all (labeled) source data, a large amount of (unlabeled) target data, and plenty of computational resources. In this work, we propose a lightweight alternative, that allows adapting to the target domain based on a limited number of target samples in a matter of minutes rather than hours, days or even weeks. To this end, we first analyze the output of each convolutional layer from a domain adaptation perspective. Surprisingly, we find that already at the very first layer, domain shift effects pop up. We then propose a new domain adaptation method, where first layer convolutional filters that are badly affected by the domain shift are reconstructed based on less affected ones. This improves the performance of the deep network on various benchmark datasets.

研究动机与目标

• 解决深度学习中的域偏移问题，即模型在部署于分布不同的数据时性能下降的问题。
• 开发一种适用于资源受限环境（如边缘设备）的轻量级自适应方法，其中微调不切实际。
• 探究域偏移是否会影响早期卷积层，挑战“首层滤波器具有通用性且域不变”的假设。
• 实现仅使用少量未标记目标样本的快速、实时自适应，避免对大规模数据或GPU资源的依赖。

提出的方法

• 该方法分析所有卷积层的特征图，识别在源域和目标域之间响应显著偏离的滤波器。
• 聚焦于首层卷积层，证明域偏移已在此处发生，并重构对目标分布适应性差的滤波器。
• 通过从少量未标记目标样本中估计目标分布，重新加权滤波器输出，使其与源分布对齐。
• 重构过程使用线性变换，基于目标数据的统计特性，将性能较差滤波器的响应映射为更接近源分布的响应。
• 该方法作为分类前的预处理步骤应用，无需对网络进行微调或参数更新。
• 计算高效，仅需标准CPU几分钟即可完成，且无需架构修改或超参数调优。

实验结果

研究问题

• RQ1 域偏移是否在首层卷积层即显现，从而挑战早期滤波器为域不变的假设？
• RQ2 能否通过一种轻量级、非迭代的滤波器响应重构方法，在极低数据和计算成本下提升新域上的性能？
• RQ3 在无监督域自适应中，是否首层滤波器的适应比后续层或最终分类器的适应更有效？
• RQ4 在该自适应设置下，需要多少目标样本才能实现有意义的性能提升？

主要发现

• 在Syn→Dark自适应任务中，该方法将分类准确率最高提升5%，证明了早期层自适应的有效性。
• 在Amazon→Gray数据集上，当对首层滤波器进行自适应时，性能从基线的94.8%提升至97.0%，且在多次运行中保持稳定。
• 即使仅使用一个目标样本，该方法也能实现显著性能提升，且性能在约10个样本后趋于饱和，表明其对数据量要求极低。
• 对第二和第三层进行自适应带来的性能提升小于首层，表明早期层对域偏移更敏感，纠正后影响更显著。
• 整个滤波器重构过程在标准台式CPU上耗时约5分钟，适用于实时或在线自适应。
• 该方法在多种数据集（包括Office、GTSRB、Mnist和Photo-Art）上系统性地提升性能，无论网络架构或数据规模如何。