[论文解读] A Generalization Error Bound for Multi-class Domain Generalization

Aniket Anand Deshmukh, Yunwen Lei+4 more|arXiv (Cornell University)|May 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用 19

一句话总结

本文提出了一种基于核函数的多分类领域泛化方法，并建立了与类别数呈对数关系的泛化误差界，其缩放特性与标准多分类学习中的最先进边界一致。理论分析表明，误差界对类别数量的依赖呈对数关系，并通过相较于池化策略的实证性能提升验证了该方法的鲁棒性。

ABSTRACT

Domain generalization is the problem of assigning labels to an unlabeled data set, given several similar data sets for which labels have been provided. Despite considerable interest in this problem over the last decade, there has been no theoretical analysis in the setting of multi-class classification. In this work, we study a kernel-based learning algorithm and establish a generalization error bound that scales logarithmically in the number of classes, matching state-of-the-art bounds for multi-class classification in the conventional learning setting. We also demonstrate empirically that the proposed algorithm achieves significant performance gains compared to a pooling strategy.

研究动机与目标

• 为解决多分类领域泛化中理论分析的缺乏，特别是针对基于核的方法。
• 开发一种在未见领域上具有良好泛化能力的学习算法，且无需访问测试数据的标签。
• 推导出一个随类别数呈有利缩放的泛化误差界，与传统多分类学习中的边界相匹配。
• 通过实证验证所提方法在领域泛化中相较于标准池化策略的性能。

提出的方法

• 该方法采用基于核函数的决策函数，将特征的经验边缘分布和输入特征映射到c维输出空间，以实现多分类预测。
• 将领域泛化问题表述为在扩展特征空间 $\mathcal{P}_{\mathcal{X}} \times \mathcal{X}$ 上的监督学习任务，其中 $\mathcal{P}_{\mathcal{X}}$ 表示特征的边缘分布。
• 利用Rademacher复杂度和Azuma-McDiarmid不等式对泛化误差进行界约束，引入损失Lipschitz常数和核函数范数。
• 使用代理损失函数 $\ell: \mathbb{R}^c \times \mathcal{Y} \to \mathbb{R}_+$，以支持灵活的多分类优化。
• 通过将泛化误差分解为两部分来推导理论界：经验风险的偏差与期望风险的偏差。
• 最终的界缩放为 $O(c^{1/2 - 1/\max\{2,p\}} N^{-1/2})$，对类别数和样本量均呈现对数依赖。

实验结果

研究问题

• RQ1 能否为基于核方法的多分类领域泛化建立理论泛化误差界？
• RQ2 在领域泛化设置中，泛化误差如何随类别数变化？
• RQ3 所提出的基于核的方法是否在多分类领域泛化中优于标准池化策略？
• RQ4 边缘分布 $P_X$ 在提升跨领域泛化能力方面起到什么作用？
• RQ5 核函数范数和损失Lipschitz常数如何影响泛化界？

主要发现

• 泛化误差界对类别数呈对数缩放，达到 $O(c^{1/2 - 1/\max\{2,p\}})$ 的速率，与标准多分类学习中的最先进边界一致。
• 界对领域数 $N$ 的依赖为 $O(N^{-1/2})$，表明随着领域多样性的增加，误差界具有收敛性。
• 实证结果表明，所提方法在性能上显著优于池化策略，验证了其实际有效性。
• 理论分析通过将每个领域视为从元分布 $\mu$ 中独立同分布抽取，考虑了领域数据的非独立同分布特性，从而确保了鲁棒性。
• 界同时包含了经验风险偏差与期望风险偏差，通过Rademacher复杂度和Azuma-McDiarmid不等式实现高概率控制。
• 最终界包含 $\log(1/\delta)$ 和 $\log^{3/2}(\sqrt{2}Nc)$ 项，反映了置信度与复杂度之间的权衡。