[论文解读] In Search for a Generalizable Method for Source Free Domain Adaptation

Malik Boudiaf, Tom Denton+3 more|arXiv (Cornell University)|Feb 13, 2023

Speech and Audio Processing被引用 6

一句话总结

本文提出 NOTELA，一种新颖的无源域自适应方法，通过在噪声学生框架中应用拉普拉斯正则化，显著提升泛化能力，在具有挑战性的生物声学域移和视觉基准上均显著优于现有方法。研究揭示当前无源域自适应（SFDA）方法在不同模态和域移类型间泛化能力不足，呼吁在视觉数据集之外开展更广泛的评估。

ABSTRACT

Source-free domain adaptation (SFDA) is compelling because it allows adapting an off-the-shelf model to a new domain using only unlabelled data. In this work, we apply existing SFDA techniques to a challenging set of naturally-occurring distribution shifts in bioacoustics, which are very different from the ones commonly studied in computer vision. We find existing methods perform differently relative to each other than observed in vision benchmarks, and sometimes perform worse than no adaptation at all. We propose a new simple method which outperforms the existing methods on our new shifts while exhibiting strong performance on a range of vision datasets. Our findings suggest that existing SFDA methods are not as generalizable as previously thought and that considering diverse modalities can be a useful avenue for designing more robust models.

研究动机与目标

• 评估现有无源域自适应（SFDA）方法在标准视觉基准之外的泛化能力。
• 识别 SFDA 方法在应用于复杂、真实世界分布偏移的音频数据时为何失败或表现不佳的原因。
• 提出一种新型 SFDA 方法，可在包括生物声学和视觉在内的多样化领域中保持强大性能。
• 倡导将 SFDA 评估范围扩展至多样化模态和复杂分布偏移，以提升方法鲁棒性。
• 证明通过正则化手段增强特征空间稳定性，可带来更一致且更具泛化能力的自适应效果。

提出的方法

• 提出 NOTELA，一种在特征空间中引入拉普拉斯正则化的改进型噪声学生框架，以稳定自适应过程。
• 使用 spectrogram 作为输入，将音频数据视为图像形式，从而可直接应用基于视觉的 SFDA 方法。
• 对学生模型的特征应用拉普拉斯正则化，以促进相似样本间特征的平滑性与一致性。
• 采用自蒸馏机制，由教师模型的软标签指导学生模型训练，同时拉普拉斯正则化进一步提升泛化能力。
• 通过在 ImageNet-C 上进行超参数搜索，避免目标域数据泄露。
• 在包含极端协变量偏移与标签偏移的新生物声学基准上评估方法，涵盖多标签、低信噪比及多说话人录音场景。

Figure 1 : All but one SFDA method fail to consistently improve the source model in terms of $\operatorname{mAP}$ on ${\mathbb{D}}_{t}^{test}$ across distribution shifts. Dropout Student succeeds, but only through early stopping, which is infeasible in the SFDA setting. NOTELA achieves consistently

实验结果

研究问题

• RQ1 当将现有 SFDA 方法应用于具有极端分布偏移的新颖且具有挑战性的音频领域时，其性能如何？
• RQ2 为何在非视觉领域中，部分 SFDA 方法的性能会劣于预训练模型？
• RQ3 对现有 SFDA 方法进行简单修改（如添加拉普拉斯正则化）是否能带来在多样化领域中更一致且更具泛化能力的性能？
• RQ4 当前视觉领域中 SFDA 评估协议在多大程度上无法反映方法的真实泛化能力？
• RQ5 在低置信度与高偏移条件下，模型的特征空间在稳定自适应过程中起到何种作用？

主要发现

• 现有 SFDA 方法在生物声学偏移任务上的性能排名与标准视觉基准存在显著差异，表明其跨域泛化能力差。
• 在某些情况下，SFDA 方法的性能甚至劣于预训练模型，凸显在缺乏充分评估的情况下部署于真实场景的风险。
• NOTELA 在具有挑战性的生物声学基准上优于所有基线方法，在极端分布偏移下达到最先进性能。
• NOTELA 在多个视觉基准（包括 ImageNet-R、ImageNet-Sketch 和 VisDA-C）上均保持强大性能，展现出跨域一致性。
• 拉普拉斯正则化通过利用特征空间，稳定了自适应过程，降低了对低模型置信度的敏感性，并改善了校准性能。
• 研究发现，当前 SFDA 方法可能已与视觉特有特征产生共适应，限制了其在其他模态及复杂真实场景中的可迁移性。

Figure 2 : (1) and (2): When shifted to a new domain, the pre-trained model exhibits lower confidence than on the original source data, as seen from the lower per-class probability distributions assigned by the model. (3): Applying entropy minimization only worsens the problem, and leads to general