[论文解读] Continuously Indexed Domain Adaptation

Hao Wang, Hao He+1 more|arXiv (Cornell University)|Jul 3, 2020

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出连续索引域自适应（CIDA），一种新颖的方法，将对抗性域自适应扩展至处理以年龄或深度等连续变量为索引的域，通过概率判别器建模域索引分布。在合成数据集和真实世界医学数据集上，CIDA 在插值和外推任务中均显著优于最先进方法，尤其在多维索引设置下取得显著准确率提升。

ABSTRACT

Existing domain adaptation focuses on transferring knowledge between domains with categorical indices (e.g., between datasets A and B). However, many tasks involve continuously indexed domains. For example, in medical applications, one often needs to transfer disease analysis and prediction across patients of different ages, where age acts as a continuous domain index. Such tasks are challenging for prior domain adaptation methods since they ignore the underlying relation among domains. In this paper, we propose the first method for continuously indexed domain adaptation. Our approach combines traditional adversarial adaptation with a novel discriminator that models the encoding-conditioned domain index distribution. Our theoretical analysis demonstrates the value of leveraging the domain index to generate invariant features across a continuous range of domains. Our empirical results show that our approach outperforms the state-of-the-art domain adaption methods on both synthetic and real-world medical datasets.

研究动机与目标

• 解决现有域自适应方法将域视为分类标签的局限性，忽略年龄或深度等潜在连续关系。
• 提出一种跨连续索引域的域自适应框架，其中域索引作为连续距离度量。
• 开发一种理论基础扎实的方法，通过建模域索引分布而非回归为数值，实现更优的域对齐。
• 将方法扩展至多维域索引（如年龄、血压、活动水平），以提升复杂现实场景下的性能。
• 在合成数据和真实世界医学数据集上实证验证该方法，证明其在域插值、外推和跨数据集迁移任务中的一致性能增益。

提出的方法

• 提出一种新型对抗性域自适应框架CIDA，将连续域索引作为判别器的输入，实现对连续域范围的对齐。
• 设计一种新型概率判别器，用于建模域索引分布，提升泛化能力并避免回归方法常见的不良平衡点。
• 使用基于距离的损失（如L2或L1）作为初始基线，但表明概率建模在理论和实证性能上更优。
• 引入PCIDA（概率CIDA）作为高级变体，采用分布预测判别器，增强对齐效果与鲁棒性。
• 通过将多个属性（如年龄、血压）组合为向量索引，将CIDA推广至多维域索引，实现更丰富的域表征。
• 端到端训练模型，采用联合损失：通过对抗训练实现域自适应损失，通过概率建模实现域索引重建损失。

实验结果

研究问题

• RQ1 域自适应能否有效扩展至以年龄或深度等连续变量为索引的域，而非仅限于分类标签？
• RQ2 将域索引建模为分布而非标量值，是否能带来更优的域对齐与泛化性能？
• RQ3 与现有域自适应方法相比，CIDA在域插值与外推任务中的表现如何？
• RQ4 该方法能否推广至多维域索引？在真实世界医学应用中是否提升性能？
• RQ5 使用概率判别器对避免对抗训练中连续域自适应的不良平衡点有何影响？

主要发现

• CIDA在合成数据集上显著优于最先进域自适应方法，尤其在域插值与外推任务中表现突出。
• 在SHHS医学数据集上，PCIDA在多维设置（11维）下达到82.6%准确率，优于Source-Only（77.7%）与CIDA（82.6%），表现持续领先。
• 在从SOF（极高龄人群）到多样化年龄范围的跨数据集迁移中，PCIDA取得最高准确率，展现出在挑战性迁移场景中的鲁棒性。
• 即使在相对简单的任务（如在SHHS与MESA间迁移，年龄分布相近），PCIDA仍稳定优于所有基线方法。
• 该方法在域插值任务中表现强劲：例如在任务'SHHS @ Outside → SHHS @(52,75]'中，PCIDA将准确率提升至82.4%（Source-Only为82.4%），表明在复杂设置中实现渐进式改进。
• 多维CIDA展现出明确的性能提升：随着域维度增至11维，准确率从Source-Only的77.7%提升至PCIDA的82.6%。