[论文解读] Modeling Uncertain Feature Representation for Domain Generalization

Xiaotong Li, Zixuan Hu+4 more|arXiv (Cornell University)|Jan 16, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出领域偏移不确定性（DSU）方法，通过将特征统计量建模为多元高斯分布，以提升深度学习在领域偏移下的泛化能力。通过在训练过程中采样不确定的统计量，并在推理阶段实施实例级自适应调整，DSU 在不引入额外参数的情况下，显著提升了在多种分布外领域下的鲁棒性，在图像分类、分割、检索和姿态估计任务中均达到最先进性能。

ABSTRACT

Though deep neural networks have achieved impressive success on various vision tasks, obvious performance degradation still exists when models are tested in out-of-distribution scenarios. In addressing this limitation, we ponder that the feature statistics (mean and standard deviation), which carry the domain characteristics of the training data, can be properly manipulated to improve the generalization ability of deep learning models. Existing methods commonly consider feature statistics as deterministic values measured from the learned features and do not explicitly model the uncertain statistics discrepancy caused by potential domain shifts during testing. In this paper, we improve the network generalization ability by modeling domain shifts with uncertainty (DSU), i.e., characterizing the feature statistics as uncertain distributions during training. Specifically, we hypothesize that the feature statistic, after considering the potential uncertainties, follows a multivariate Gaussian distribution. During inference, we propose an instance-wise adaptation strategy that can adaptively deal with the unforeseeable shift and further enhance the generalization ability of the trained model with negligible additional cost. We also conduct theoretical analysis on the aspects of generalization error bound and the implicit regularization effect, showing the efficacy of our method. Extensive experiments demonstrate that our method consistently improves the network generalization ability on multiple vision tasks, including image classification, semantic segmentation, instance retrieval, and pose estimation. Our methods are simple yet effective and can be readily integrated into networks without additional trainable parameters or loss constraints. Code will be released in https://github.com/lixiaotong97/DSU.

研究动机与目标

• 为解决深度神经网络在分布外测试场景下的性能下降问题，特别是由于特征统计量的领域偏移所致。
• 通过将特征统计量（均值与标准差）视为概率分布而非确定性值，来建模领域偏移中的固有不确定性。
• 通过在训练过程中使用多样化、基于不确定性的采样特征统计量变体，提升模型泛化能力。
• 通过无需显著计算开销的、实例级的自适应特征统计量校准，在推理阶段增强鲁棒性。

提出的方法

• 该方法将每个特征统计量（均值与标准差）建模为以原始确定性值为中心的多元高斯分布，并通过非参数方式从迷你批次统计量中估计方差。
• 在训练过程中，从估计的高斯分布中随机采样特征统计量，生成多样化扰动，以模拟潜在的领域偏移。
• 不确定性估计是通道独立的且自适应的，能够捕捉不同特征通道间不同的偏移潜力。
• 在推理阶段，采用实例级自适应策略，基于测试样本的不确定性重新校准特征统计量，从而提升对未预见领域偏移的鲁棒性。
• 该方法为非参数化，不引入额外可学习参数或损失约束，因此可轻松集成到现有网络中。
• 理论分析支持该方法的泛化误差界与隐式正则化效应，为其鲁棒性提供理论依据。

实验结果

研究问题

• RQ1 将特征统计量建模为不确定分布是否能提升模型在领域偏移下的泛化能力？
• RQ2 在训练过程中采用不确定性感知的特征统计量采样，如何影响模型对未见领域分布的鲁棒性？
• RQ3 实例级推理阶段自适应调整是否能以极低计算成本进一步提升泛化性能？
• RQ4 所提出的不确定性估计与在通道间共享或固定的不确定性分布相比有何差异？
• RQ5 不同类型的不确定性分布（如高斯分布与均匀分布）对模型性能有何影响？

主要发现

• DSU 在 PACS 数据集上达到最先进性能，零样本泛化准确率提升至 84.1%，优于基线的 79.0%。
• 在 GTA5 到 Cityscapes 的语义分割基准上，DSU 将性能从 37.0% 提升至 43.1%，展现出在领域偏移场景下的强鲁棒性。
• 该方法优于使用预定义标准差的固定高斯分布，表明自适应不确定性估计比静态扰动更有效。
• 在通道间共享同一不确定性分布会降低性能（39.3% vs. 43.1%），证实通道级不确定性建模对最优结果至关重要。
• 该方法仅导致训练时间增加 6%、推理时间增加 1%，额外参数不足 0.02%，证明其具有极高效率。