[论文解读] Learning to Learn with Variational Information Bottleneck for Domain Generalization

Yingjun Du, Jun Xu+5 more|arXiv (Cornell University)|Jul 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 56被引用 11

一句话总结

该论文提出MetaVIB，一种结合变分推断与信息瓶颈的元学习框架，以提升域泛化能力。通过将分类器权重建模为概率分布，并利用一种新型元变分信息瓶颈，MetaVIB降低了预测不确定性与域偏移，实现了在三个基准测试上的最先进性能。

ABSTRACT

Domain generalization models learn to generalize to previously unseen domains, but suffer from prediction uncertainty and domain shift. In this paper, we address both problems. We introduce a probabilistic meta-learning model for domain generalization, in which classifier parameters shared across domains are modeled as distributions. This enables better handling of prediction uncertainty on unseen domains. To deal with domain shift, we learn domain-invariant representations by the proposed principle of meta variational information bottleneck, we call MetaVIB. MetaVIB is derived from novel variational bounds of mutual information, by leveraging the meta-learning setting of domain generalization. Through episodic training, MetaVIB learns to gradually narrow domain gaps to establish domain-invariant representations, while simultaneously maximizing prediction accuracy. We conduct experiments on three benchmarks for cross-domain visual recognition. Comprehensive ablation studies validate the benefits of MetaVIB for domain generalization. The comparison results demonstrate our method outperforms previous approaches consistently.

研究动机与目标

• 解决由于未见域分布导致的域泛化中的预测不确定性问题。
• 通过学习跨多样化源域的域不变表示来减少域偏移。
• 整合概率建模与元学习，以提升对未见域的泛化能力。
• 提出一种基于互信息变分界的新信息理论正则化项MetaVIB。
• 在跨域视觉识别基准上，性能优于先前方法。

提出的方法

• 使用变分推断将跨域的分类器参数建模为概率分布，以捕捉不确定性。
• 提出MetaVIB，一种源自互信息变分界的信息瓶颈原理的元变分信息瓶颈框架。
• 通过元任务训练进行优化，联合更新网络与分类器参数，以最小化域间差异。
• 利用MetaVIB目标函数，在最大化预测准确率的同时最小化输入与表示之间的互信息。
• 利用元学习在训练过程中模拟未见域，从而实现对先前未见域的泛化能力。
• 直接将学习到的概率模型应用于测试域，无需微调，利用不确定性感知的预测结果。

实验结果

研究问题

• RQ1 对分类器参数进行概率建模是否能改善域泛化中的预测不确定性？
• RQ2 元变分信息瓶颈框架是否能有效减少在多样化域之间的域偏移？
• RQ3 将元学习与变分推断及信息瓶颈相结合，是否能带来优于现有方法的泛化性能？
• RQ4 MetaVIB在跨域视觉识别任务中与最先进常规方法及元学习方法相比表现如何？
• RQ5 MetaVIB是否能在具有不同域偏移的多个基准上持续提升性能？

主要发现

• 在PACS数据集上，MetaVIB达到74.54%的平均准确率，比之前最先进方法高出1.20个百分点。
• 在VLCS数据集上，MetaVIB达到72.28%的平均准确率，比第二好的方法（MASF）高出0.43个百分点。
• 在旋转MNIST数据集上，MetaVIB达到97.08%的平均准确率，比次佳方法（Li et al. [30]）高出0.69个百分点。
• MetaVIB在所有基准上均显著优于元学习基线方法（如MLDG、MetaReg和Reptile）。
• 消融实验证实，概率分类器建模与MetaVIB正则化项均对性能提升有显著贡献。
• 该方法表现出强鲁棒性，即使在PACS数据集中最具挑战性的域（如'Cartoon'）上也实现了高性能。