[论文解读] A Bit More Bayesian: Domain-Invariant Learning with Uncertainty

Zehao Xiao, Jiayi Shen+3 more|UvA-DARE (University of Amsterdam)|May 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用 5

一句话总结

该论文提出了一种变分贝叶斯神经网络框架，将不确定性建模与域不变表示学习相结合，以提升域泛化性能。通过在概率推理下联合优化域不变特征与分类器，该方法在四个跨域基准上实现了最先进性能，展现出对分布偏移和分布外泛化的优越鲁棒性。

ABSTRACT

Domain generalization is challenging due to the domain shift and the uncertainty caused by the inaccessibility of target domain data. In this paper, we address both challenges with a probabilistic framework based on variational Bayesian inference, by incorporating uncertainty into neural network weights. We couple domain invariance in a probabilistic formula with the variational Bayesian inference. This enables us to explore domain-invariant learning in a principled way. Specifically, we derive domain-invariant representations and classifiers, which are jointly established in a two-layer Bayesian neural network. We empirically demonstrate the effectiveness of our proposal on four widely used cross-domain visual recognition benchmarks. Ablation studies validate the synergistic benefits of our Bayesian treatment when jointly learning domain-invariant representations and classifiers for domain generalization. Further, our method consistently delivers state-of-the-art mean accuracy on all benchmarks.

研究动机与目标

• 解决在训练期间目标域数据不可用时，域泛化中的域偏移与不确定性挑战。
• 通过贝叶斯推理在神经网络权重中引入不确定性，以提升模型对分布外数据的泛化能力。
• 构建一个原则性的概率框架，联合学习域不变表示与分类器。
• 通过利用变分贝叶斯方法，克服标准深度网络在分布偏移下过度自信和校准性差的问题。
• 在元学习设置中，展示结合不确定性建模与域不变学习的协同优势。

提出的方法

• 在变分贝叶斯推理框架内，将域不变性形式化为概率约束，以建模网络权重中的不确定性。
• 使用两层贝叶斯神经网络，通过近似后验推断联合学习域不变特征提取器与分类器。
• 最小化负证据下界（ELBO）以优化变分后验，平衡似然与先验的 KL 散度。
• 通过将源域拆分为元源域与元目标域（每轮迭代中），引入元学习机制以模拟域偏移并提升泛化能力。
• 对特征提取器与分类器头均应用变分贝叶斯推断，以实现不确定性感知的预测。
• 利用权重不确定性提升在分布外数据上的鲁棒性，尤其在未见的域偏移下表现更优。

实验结果

研究问题

• RQ1 通过变分贝叶斯推断引入权重不确定性，是否能提升在分布偏移下的域泛化性能？
• RQ2 在概率框架下联合学习域不变特征与分类器，如何影响模型的鲁棒性与准确性？
• RQ3 域不变性与不确定性建模之间的协同效应，是否能带来相较于标准域泛化方法在未见域上的更好性能？
• RQ4 在如 PACS 和 Office-Home 这类具有挑战性的基准上，贝叶斯方法是否能超越非贝叶斯最先进方法，特别是在 'clipart' 和 'art' 等困难域上？
• RQ5 不确定性建模在多大程度上增强了分布外泛化能力，如在旋转 MNIST 和 Fashion-MNIST 上的测量结果？

主要发现

• 所提方法在 Office-Home 基准上实现了 66.42% ± 0.18 的最先进平均准确率，优于先前方法。
• 在 PACS 数据集上，该方法在 'sketch' 域上达到 61.81% ± 0.36 的准确率，超越所有基线与先前最先进方法。
• 在旋转 MNIST 与 Fashion-MNIST 基准上，该方法在分布内达到 99.0% ± 0.02，分布外达到 96.5% ± 0.08 的准确率，展现出强大的 OOD 泛化能力。
• 消融实验确认，在贝叶斯推断下联合学习域不变特征与分类器，能实现鲁棒性与准确率的协同提升。
• 与非贝叶斯基线相比，该方法在分布外性能上平均提升 6.6%，凸显了不确定性建模的优势。
• 该模型在所有域（包括 'clipart' 和 'art' 等具有挑战性的域）上均保持高性能，表明其具备一致的泛化能力，且无领域特定过拟合。