[论文解读] Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts

Zhong Tao, Zhixiang Chi+4 more|arXiv (Cornell University)|Oct 8, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

Meta-DMoE 提出了一种新颖的无监督测试时自适应框架，该框架利用混合专家（MoE）教师模型从多个源域中蒸馏领域专用知识。通过采用元学习的基于 Transformer 的聚合器来整合专家知识，并利用元训练的学生网络实现快速适应，该方法在多个基准测试中实现了最先进性能，在处理领域偏移方面表现出更优的泛化能力和灵活性。

ABSTRACT

In this paper, we tackle the problem of domain shift. Most existing methods perform training on multiple source domains using a single model, and the same trained model is used on all unseen target domains. Such solutions are sub-optimal as each target domain exhibits its own specialty, which is not adapted. Furthermore, expecting single-model training to learn extensive knowledge from multiple source domains is counterintuitive. The model is more biased toward learning only domain-invariant features and may result in negative knowledge transfer. In this work, we propose a novel framework for unsupervised test-time adaptation, which is formulated as a knowledge distillation process to address domain shift. Specifically, we incorporate Mixture-of-Experts (MoE) as teachers, where each expert is separately trained on different source domains to maximize their specialty. Given a test-time target domain, a small set of unlabeled data is sampled to query the knowledge from MoE. As the source domains are correlated to the target domains, a transformer-based aggregator then combines the domain knowledge by examining the interconnection among them. The output is treated as a supervision signal to adapt a student prediction network toward the target domain. We further employ meta-learning to enforce the aggregator to distill positive knowledge and the student network to achieve fast adaptation. Extensive experiments demonstrate that the proposed method outperforms the state-of-the-art and validates the effectiveness of each proposed component. Our code is available at https://github.com/n3il666/Meta-DMoE.

研究动机与目标

• 解决真实部署中测试数据分布与训练数据不同的领域偏移问题。
• 克服单模型在多源域自适应中泛化能力的局限性，后者常导致领域不变特征的偏差学习。
• 仅使用未标注的目标域数据，在测试时实现快速、有效的自适应，而无需访问源域数据。
• 通过利用领域专用专家和元学习实现高效知识蒸馏，提升模型的泛化能力和鲁棒性。

提出的方法

• 该框架采用混合专家（MoE）设置，其中每个专家在不同源域上预先训练，以最大化领域特定知识。
• 在测试时，使用一小部分未标注的目标样本查询预训练 MoE 专家的特征。
• 基于 Transformer 的聚合器分析专家输出之间的相互关系，并将领域特定知识融合为统一的监督信号。
• 学生网络通过元训练快速适应目标域，采用双层优化确保从少量样本中实现快速适应。
• 知识蒸馏应用于中间特征（而不仅仅是 logits），实现更丰富的监督和更优的特征对齐。
• 训练过程模拟测试时的分布外场景，使训练目标与真实评估协议保持一致。

实验结果

研究问题

• RQ1 在多源域偏移设置下，多专家教师框架是否能相比单模型方法提升自适应性能？
• RQ2 元学习的聚合器在多大程度上能有效结合多个领域专用专家的知识以指导快速自适应？
• RQ3 与仅蒸馏 logits 相比，蒸馏中间特征是否能带来更好的泛化性能？
• RQ4 元学习如何提升学生网络在少量目标样本下快速适应的能力？
• RQ5 在真实世界约束（如数据隐私和计算效率）下，该框架是否能保持高性能？

主要发现

• Meta-DMoE 在四个基准数据集上实现了最先进性能，当聚合器和学生均经过元训练时，测试准确率达到 77.2%，宏 F1 为 34.0%。
• 基于 Transformer 的聚合器优于人工设计的算子（如最大池化/平均池化）和基于 MLP 的方法，准确率达到 77.2%，宏 F1 为 34.0%。
• 仅蒸馏中间特征即可实现优于仅蒸馏 logits 或同时蒸馏两者的泛化性能，准确率达到 77.2%，宏 F1 为 34.0%，而仅蒸馏 logits 的结果为 72.1% 和 26.4%。
• 元学习训练方案显著提升了自适应性能，元训练的学生与聚合器组合达到 77.2% 的准确率，而随机初始化的基线仅为 32.7%。
• 该方法在受限环境下表现稳健：无需访问原始源数据，且在自适应后可丢弃 MoE 模型，实现高效推理。