[论文解读] Information-Theoretic Analysis of Unsupervised Domain Adaptation

Ziqiao Wang, Yongyi Mao|arXiv (Cornell University)|Oct 3, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文对无监督域自适应（UDA）进行了信息论分析，提出了新颖的泛化界，将域分布之间的KL散度与泛化误差联系起来。提出两种与算法相关的正则化技术——梯度惩罚和类别特定标签，以改进基于KL的域对齐，实验证明在RotatedMNIST、SVHN→MNIST和VisDA17等多个基准上性能持续提升。

ABSTRACT

This paper uses information-theoretic tools to analyze the generalization error in unsupervised domain adaptation (UDA). We present novel upper bounds for two notions of generalization errors. The first notion measures the gap between the population risk in the target domain and that in the source domain, and the second measures the gap between the population risk in the target domain and the empirical risk in the source domain. While our bounds for the first kind of error are in line with the traditional analysis and give similar insights, our bounds on the second kind of error are algorithm-dependent, which also provide insights into algorithm designs. Specifically, we present two simple techniques for improving generalization in UDA and validate them experimentally.

研究动机与目标

• 使用信息论工具为无监督域自适应（UDA）提供理论基础。
• 分析两类泛化误差：总体到总体（PP）误差和期望经验到总体（EP）误差。
• 开发与算法相关的泛化界，以指导UDA中合理算法设计。
• 提出并验证两种新型正则化技术——梯度惩罚和类别特定标签，以增强基于KL的域对齐。

提出的方法

• 以Donsker-Varadhan表示法作为KL散度的理论基础，推导泛化界。
• 利用源域与目标域分布之间的KL散度，推导PP泛化误差的统一上界。
• 引入针对EP泛化误差的算法相关上界，以指导新型正则化策略的设计。
• 提出两种新方法：梯度惩罚（KL-GP）和类别特定标签（KL-CL），以提升基于KL的UDA中的泛化性能。
• 采用双流训练流程：一个分支优化主分类器，另一个辅助分支学习伪标签以改善表示对齐。
• 在RotatedMNIST、SVHN→MNIST和VisDA17上验证方法，结合t-SNE可视化和超参数的消融研究。

实验结果

研究问题

• RQ1 源域与目标域分布之间的KL散度如何影响UDA中的泛化误差？
• RQ2 与算法相关的泛化界是否能带来更优的UDA算法设计？
• RQ3 引入梯度惩罚或类别特定标签是否能提升基于KL的域对齐性能？
• RQ4 未标记目标样本的数量如何影响UDA中的模型泛化？
• RQ5 表示空间中Jeffrey散度的动态变化能否预测测试误差的演化？

主要发现

• PP泛化误差被源域与目标域之间KL散度统一有界，恢复并扩展了Nguyen等人（2022）的先前结果。
• 最小化KL散度同时也能最小化其他差异度量（如总变差和Wasserstein距离），解释了基于KL对齐的有效性。
• KL-GP（带梯度惩罚的KL）在SVHN→MNIST上提升1.3%（93.6±1.2 vs. 92.5±0.9），在RotatedMNIST上提升12.5%（88.0±8.1 vs. 75.5±2.4），相比基线KL。
• KL-CL（带类别特定标签的KL）在VisDA17上达到71.3±0.4，优于基线KL（70.6±0.5），且在各领域中表现一致提升。
• 表示空间中Jeffrey散度的动态变化与测试误差高度相关，最优性能可在使用少于一半可用未标记目标数据时实现。
• 消融研究证实，将梯度惩罚超参数λ1设为零会使KL-GP退化为标准KL，且λ1 > 0时性能显著提升。