[论文解读] Domain Adaptation via Maximum Independence of Domain Features

Ke Yan, Lu Kou+1 more|arXiv (Cornell University)|Mar 15, 2016

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出最大独立性域自适应（MIDA），通过学习与设备标签、采集时间等特定领域属性最大独立的特征，减少领域偏移。通过强制共享特征与领域特征之间的独立性，MIDA 有效处理离散和连续的领域偏移，其半监督扩展 SMIDA 利用标签信息，在传感器、测量和计算机视觉任务中表现出色。

ABSTRACT

When the distributions of the source and the target domains are different, domain adaptation techniques are needed. For example, in the field of sensors and measurement, discrete and continuous distributional change often exist in data because of instrumental variation and time-varying sensor drift. In this paper, we propose maximum independence domain adaptation (MIDA) to address this problem. Domain features are first defined to describe the background information of a sample, such as the device label and acquisition time. Then, MIDA learns features which have maximal independence with the domain features, so as to reduce the inter-domain discrepancy in distributions. A feature augmentation strategy is designed so that the learned projection is background-specific. Semi-supervised MIDA (SMIDA) extends MIDA by exploiting the label information. The proposed methods can handle not only discrete domains in traditional domain adaptation problems but also continuous distributional change such as the time-varying drift. In addition, they are naturally applicable in supervised/semi-supervised/unsupervised classification or regression problems with multiple domains. This flexibility brings potential for a wide range of applications. The effectiveness of our approaches is verified by experiments on synthetic datasets and four real-world ones on sensors, measurement, and computer vision.

研究动机与目标

• 解决源域和目标域数据分布不同时机器学习中的领域偏移问题。
• 建模离散领域偏移（如不同传感器）和连续偏移（如随时间变化的传感器漂移）。
• 开发一种无需依赖目标数据标签即可学习领域不变表示的方法。
• 将该方法扩展至半监督和监督设置，以增强适用性。
• 提供一个统一框架，适用于多个领域中的分类和回归任务。

提出的方法

• 定义领域特征以捕捉设备身份、采集时间等背景信息。
• 制定损失函数，以最大化共享特征与领域特征之间的统计独立性。
• 采用特征增强策略，使投影针对每种背景特定化，提升领域泛化能力。
• 应用基于神经网络的投影，学习不变表示，同时最小化对领域特征的依赖。
• 通过引入已标注的目标数据，将 MIDA 扩展为 SMIDA，以提升半监督设置下的性能。
• 使用基于梯度的方法优化模型，在最小化领域依赖的同时保持预测能力。

实验结果

研究问题

• RQ1 通过最大化与特定领域特征的独立性，能否学习到领域不变表示？
• RQ2 该方法在时间变化的传感器漂移等连续领域偏移上泛化能力如何？
• RQ3 该方法能否在最小假设下扩展至半监督和监督学习？
• RQ4 特征增强是否能提升背景特定适应下的性能？
• RQ5 MIDA 在真实世界传感器和视觉数据集上与现有领域自适应方法相比表现如何？

主要发现

• MIDA 通过学习与领域特征最大独立的特征，有效减少领域偏移，从而提升跨领域的泛化能力。
• 该方法在离散领域和连续分布变化（如随时间变化的传感器漂移）上均表现出良好泛化能力。
• SMIDA（半监督变体）通过利用有限的已标注目标数据，进一步提升了性能。
• 该方法在来自传感器、测量和计算机视觉的四个真实世界数据集上取得了优异结果。
• 特征增强策略提升了特定背景的适应能力，增强了模型的鲁棒性和性能。