[论文解读] Batch Normalization Embeddings for Deep Domain Generalization

Mattia Segù, Alessio Tonioni+1 more|arXiv (Cornell University)|Nov 25, 2020

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

该论文提出了一种批量归一化嵌入（Batch Normalization Embeddings, BNE）方法，通过利用特定于领域的批量归一化统计信息，将已知领域映射到共享潜在空间中，以实现深度领域泛化。在测试阶段，未知领域样本通过距离度量被投影到该空间中，以推断其领域归属，并结合轻量级领域特定分类器集成模型的权重预测，从而在PACS、Office-31和Office-Caltech基准上实现了最先进（SOTA）的准确率。

ABSTRACT

Domain generalization aims at training machine learning models to perform robustly across different and unseen domains. Several recent methods use multiple datasets to train models to extract domain-invariant features, hoping to generalize to unseen domains. Instead, first we explicitly train domain-dependant representations by using ad-hoc batch normalization layers to collect independent domain's statistics. Then, we propose to use these statistics to map domains in a shared latent space, where membership to a domain can be measured by means of a distance function. At test time, we project samples from an unknown domain into the same space and infer properties of their domain as a linear combination of the known ones. We apply the same mapping strategy at training and test time, learning both a latent representation and a powerful but lightweight ensemble model. We show a significant increase in classification accuracy over current state-of-the-art techniques on popular domain generalization benchmarks: PACS, Office-31 and Office-Caltech.

研究动机与目标

• 通过使模型能够在无需标注测试数据的情况下泛化到未见领域，解决深度学习中的领域偏移问题。
• 克服现有领域泛化方法强制学习领域不变特征的局限性，这些方法可能丢弃了有用的领域特定信息。
• 开发一种显式建模领域特定表征的方法，同时通过领域嵌入的共享潜在空间实现在未知领域的泛化。
• 通过结合基于未知领域在BNE空间中距离的加权领域特定分类器预测，实现对未见领域的鲁棒分类。

提出的方法

• 在模型训练期间，为每个训练领域单独累积批量归一化（BN）统计信息，从而创建特定于领域的归一化层。
• 利用其BN层的总体统计信息，将每个训练领域表示为潜在领域空间中的一个点——即批量归一化嵌入（BNE）。
• 在测试阶段，计算测试样本的实例归一化统计信息，并使用相同的BN统计信息将其映射到同一潜在领域空间中。
• 使用距离函数（例如Wasserstein距离）度量测试样本的实例统计信息与每个已知领域BNE之间的距离。
• 将这些距离的倒数作为权重，线性组合来自领域特定分类器的预测结果，从而提升对未知领域的泛化能力。
• 在训练过程中也应用相同的距离加权策略，以促使模型学习有意义的潜在领域空间和稳定的BNE。

实验结果

研究问题

• RQ1 能否利用依赖于领域的批量归一化统计信息所捕获的领域特定表征，来提升对未见领域的泛化能力？
• RQ2 由BN统计信息导出的领域嵌入潜在空间，在实现对未知领域属性的准确推断方面有多有效？
• RQ3 基于未知领域BNE的距离对领域特定分类器预测进行加权，是否相比平均或固定加权策略能提升分类准确率？
• RQ4 所提出的方法是否能在无需标注目标数据的情况下，泛化到PACS、Office-31和Office-Caltech等多样化基准？
• RQ5 距离度量的选择（如Wasserstein、Bhattacharyya、Uniform）对领域定位和分类性能有何影响？

主要发现

• 所提方法在PACS、Office-31和Office-Caltech基准上均实现了最先进性能，相较于使用ResNet-18的DeepAll基线模型，平均准确率提升了+5.86%。
• 使用Wasserstein距离进行领域定位时性能最佳，在所有领域中均优于Bhattacharyya和均匀距离基线。
• 消融实验表明，每个组件——领域特定BN、训练阶段的距离加权以及预热阶段——均对性能提升有显著贡献。
• 该方法优于通过独立分类网络学习领域归属的DNet变体，同时参数量更少。
• 该方法在所有领域上均表现出良好泛化能力，即使在PACS数据集中最具挑战性的“Sketch”领域也实现了持续提升。
• 该方法兼容任何使用批量归一化的CNN模型，并且随着训练领域数量的增加，性能可平稳扩展。