[论文解读] Efficient Domain Generalization via Common-Specific Low-Rank Decomposition

Vihari Piratla, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Mar 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 21被引用 57

一句话总结

介绍 CSD，一种用于域泛化的最终层公有-特定低秩分解，带有正交约束和专用公共损失，在图像和语音领域的准确性具有竞争力且训练速度快于基于元学习的基线。

ABSTRACT

Domain generalization refers to the task of training a model which generalizes to new domains that are not seen during training. We present CSD (Common Specific Decomposition), for this setting,which jointly learns a common component (which generalizes to new domains) and a domain specific component (which overfits on training domains). The domain specific components are discarded after training and only the common component is retained. The algorithm is extremely simple and involves only modifying the final linear classification layer of any given neural network architecture. We present a principled analysis to understand existing approaches, provide identifiability results of CSD,and study effect of low-rank on domain generalization. We show that CSD either matches or beats state of the art approaches for domain generalization based on domain erasure, domain perturbed data augmentation, and meta-learning. Further diagnostics on rotated MNIST, where domains are interpretable, confirm the hypothesis that CSD successfully disentangles common and domain specific components and hence leads to better domain generalization.

研究动机与目标

• 在多域设置中激励并分析域泛化（DG），以防止对训练域的过拟合。
• 提出一个基于分解的、原理性强的 DG 方法（CSD），将域通用的共同组件与域特定的低秩组件分离。
• 确立共享组件的可辨识性，并研究低秩选择如何影响域泛化。
• 展示 CSD 在不同数据集上比基于梯度的元学习和其他 DG 方法更快且通常更准确。
• 将该方法扩展到神经网络，通过将分解限制在最后一层并引入公共损失和正交约束来实现。

提出的方法

• 将最终线性分类层分解为共同组件和具有正交约束的域特定低秩部分。
• 训练域特定的 softmax 参数 w_i 为 w_c + W_s γ_i，并对 w_i 与 w_c 都施加损失以鼓励学习共享特征。
• 使用正交正则化来促进 w_c ⟂ span(W_s) 并控制参数范数。
• 提供一个算法（CSD），联合更新 θ（特征提取器）、w_c、W_s 和 γ_i，包括一个公共损失项和一个专用损失项，以及正交性正则化。
• 推导可辨识性结果：w_c 对应于正交投影到域特定分量的 e_c，从而确保共享分类器的良好定义。
• 分析低秩分解中秩 k 的作用，采用一个原理性的 Eckart–Young–Mirsky 风格的方法来计算分解，并讨论偏差与噪声之间的权衡。

实验结果

研究问题

• RQ1 在公有-特定分解框架中，能否唯一识别出共享的域通用分类器 w_c？
• RQ2 域特定分量的秩 k 如何影响域泛化性能和噪声抑制？
• RQ3 将分解限制在最后一层并引入正交性与公共损失，是否能在域泛化方面达到或优于元学习与数据增强 DG 方法？
• RQ4 CSD 是否可扩展且比基于梯度的 DG 方法更快，同时在大量训练域中保持或提升准确性？
• RQ5 在图像与语音任务上的实验是否支持 CSD 将公有与域特定组件解耦以改善跨域泛化的假设？

主要发现

• CSD 在基于域移除、数据增强和元学习的多数据集上达到或超越最先进的 DG 方法。
• 当域数量较多时，CSD 相较于具有代表性的元学习 DG 方法实现了数量级数量级的加速，同时提供更高的准确性。
• 在旋转的 MNIST 及其他可解释域上，CSD 清晰地展示了共享与域特定组件的有效解耦。
• 消融研究表明正交性、公共损失与域特定损失的组合对超越基线 ERM 的增益至关重要。
• 最优秩 k 取决于域数量和数据特征，k=1 在中等域数量下通常有利，而极大量域集时较高的 k 更有利；交叉验证可提供稳健的性能。
• 在图像与语音任务中，与 ERM 相比，CSD 在跨域准确性上持续提升，且训练时间开销适中。