[论文解读] Multiple Source Adaptation and the Renyi Divergence

Yishay Mansour, Mehryar Mohri+1 more|arXiv (Cornell University)|May 9, 2012

Speech and Audio Processing参考文献 17被引用 73

一句话总结

本文提出了一种基于Rényi散度的理论框架，用于多源域自适应，以界定向化误差。该工作通过处理任意目标分布，扩展了先前假设目标分布为源分布混合的理论研究，提供了在分布近似和标签偏移下的损失保证，并通过在合成数据和情感分析数据上的实验验证了性能提升。

ABSTRACT

This paper presents a novel theoretical study of the general problem of multiple source adaptation using the notion of Renyi divergence. Our results build on our previous work [12], but significantly broaden the scope of that work in several directions. We extend previous multiple source loss guarantees based on distribution weighted combinations to arbitrary target distributions P, not necessarily mixtures of the source distributions, analyze both known and unknown target distribution cases, and prove a lower bound. We further extend our bounds to deal with the case where the learner receives an approximate distribution for each source instead of the exact one, and show that similar loss guarantees can be achieved depending on the divergence between the approximate and true distributions. We also analyze the case where the labeling functions of the source domains are somewhat different. Finally, we report the results of experiments with both an artificial data set and a sentiment analysis task, showing the performance benefits of the distribution weighted combinations and the quality of our bounds based on the Renyi divergence.

研究动机与目标

• 解决当存在多个源域但目标域分布未知或并非源域的简单混合时的域自适应挑战。
• 将理论保证扩展至先前研究之外，这些研究假设目标分布为源分布的混合。
• 分析近似源分布和标签函数偏移对学习性能的影响。
• 使用Rényi散度作为分布差异的度量，提供泛化误差的理论界。
• 通过实证评估验证分布加权组合策略在实际中的有效性。

提出的方法

• 使用Rényi散度量化源分布与目标分布之间差异，构建多源域自适应问题的形式化表达。
• 推导出依赖于目标分布与源分布加权组合之间Rényi散度的泛化误差界。
• 引入一种损失保证机制，同时考虑已知和未知的目标分布。
• 将分析扩展至源分布被近似的情况，表明当近似分布与真实分布的差异受控时，界会平稳退化。
• 通过建模不同领域间标签函数的差异，并相应调整学习目标，引入标签偏移的处理。
• 提出一种分布加权组合策略，基于源域对目标的相关性优化其贡献的权衡。

实验结果

研究问题

• RQ1 当目标分布并非源分布的混合时，如何界定向化误差？
• RQ2 在多源域自适应中，使用近似源分布对学习性能有何影响？
• RQ3 源域间标签函数的差异如何影响泛化界？
• RQ4 Rényi散度能否作为选择域自适应中最佳源域权重的有效度量？
• RQ5 在如情感分析等真实任务中，分布加权组合在多大程度上提升了性能？

主要发现

• 使用Rényi散度推导出泛化误差的理论界，表明更小的散度可带来更紧的界。
• 该方法在合成数据和情感分析任务上均取得性能提升，验证了分布加权组合的优势。
• 即使源分布被近似，只要真实分布与近似分布之间的散度有界，损失保证依然有效。
• 该框架可处理非混合目标分布，显著扩展了先前研究的适用范围。
• 实证结果证实，所提出的界具有紧致性，并能准确预测真实数据集上的实际性能。
• 该方法在标签偏移下依然稳健，其理论保证考虑了不同领域间标签函数的差异。