[论文解读] Algorithms and Theory for Multiple-Source Adaptation

Judy Hoffman, Mehryar Mohri+1 more|arXiv (Cornell University)|May 20, 2018

Domain Adaptation and Few-Shot Learning被引用 108

一句话总结

本文提出了针对多源域自适应的归一化分布加权组合，在确定性与随机性设定下给出强理论保证（包括交叉熵损失），提供基于 DC 编程的混合权重计算算法，并在若干真实数据集上展示鲁棒性和优越的经验表现。

ABSTRACT

This work includes a number of novel contributions for the multiple-source adaptation problem. We present new normalized solutions with strong theoretical guarantees for the cross-entropy loss and other similar losses. We also provide new guarantees that hold in the case where the conditional probabilities for the source domains are distinct. Moreover, we give new algorithms for determining the distribution-weighted combination solution for the cross-entropy loss and other losses. We report the results of a series of experiments with real-world datasets. We find that our algorithm outperforms competing approaches by producing a single robust model that performs well on any target mixture distribution. Altogether, our theory, algorithms, and empirical results provide a full solution for the multiple-source adaptation problem with very practical benefits.

研究动机与目标

• 在无法访问目标域数据且不将所有源域数据汇聚的前提下，激发从多个源域学习。
• 将 Mansour 等人的结果扩展到一个带有源分布混合的目标分布的随机设定。
• 引入可用于交叉熵及其他损失的归一化分布加权混合。
• 提供通过 DC 编程计算混合权重 z 的算法，并给出收敛性保证。
• 通过对真实世界数据集的广泛实验展示鲁棒性和实际收益。

提出的方法

• 为回归和概率模型定义分布加权组合 h_z^eta（式(1)和式(2)）。
• 证明凸组合不足以提供充分的保障，并且分布加权规则能提供有利的保证。
• 证明定理1：在温和的散度条件下，存在使 L(D_T,h_z^eta) 对目标 D_T 很小的 z 和 eta。
• 将上述特化为带归一化预测的交叉熵损失，得到归一化版本 \u001bar{h}_z^eta 并证明其保证（定理3）。
• 提出优化目标的 DC 分解，并给出用于求解 z 的 DC 编程算法（问题(4)及式(5)-(6)）。
• 提供基于经验密度估计的实现该方法的程序，当源密度不可直接获取时（推论11）。

实验结果

研究问题

• RQ1 分布加权的源预测器在没有目标数据的情况下，是否能在任意目标混合上实现低损失？
• RQ2 归一化与随机扩展是否能为交叉熵损失保留强保证？
• RQ3 在实际中如何高效地计算最优的混合权重 z？
• RQ4 密度估计误差对方法的理论保证和经验性能有何影响？

主要发现

• 定理1保证存在混合权重 z 和边界参数 eta，使得分布加权预测器 h_z^eta 在温和的散度条件下对目标取得低损失。
• 推论2显示鲁棒性：当条件概率不随源而改变时，对任意混合的损失最多为 epsilon+delta。
• 对于交叉熵损失，定理3给出具有相似鲁棒性保证的归一化分布加权预测器。
• 一个 DC 编程算法收敛到求解 z 的驻点，并提供一个实际的最优性评估测试。
• 在情感分析、数字识别和 Office 数据集上的实验证明，分布加权（DW）方法优于基线，并在不同目标混合下保持鲁棒性且无需目标数据。
• DW 在与特权（lambda-comb）或目标感知方法的比较中也有竞争力，同时无需目标标签或重新训练。