[论文解读] Domain Generalization -- A Causal Perspective

Paras Sheth, Raha Moraffah+3 more|arXiv (Cornell University)|Sep 30, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种因果框架用于领域泛化，通过将方法划分为三个阶段：因果数据增强（预处理）、不变因果表征学习（表征学习）和因果机制迁移（分类）。该研究提供了系统化的分类法、基准数据集和评估指南，指出了未来在自然语言处理和图数据领域中尚未充分探索的研究方向。

ABSTRACT

Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- extit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.

研究动机与目标

• 通过利用因果性来提升模型泛化能力，以应对分布偏移下的机器学习模型局限性。
• 基于因果性在模型流程中应用的时间与方式，对现有因果感知的领域泛化方法进行分类。
• 提供全面的数据集、评估指标和代码仓库综述，以支持可复现性和基准测试。
• 识别尚未充分探索的研究方向，特别是在自然语言处理和基于图的数据中，针对因果表征学习与机制迁移的研究。
• 倡导采用超越标准准确率的因果评估指标，以验证学习表征中不变因果特征的存在。

提出的方法

• 将因果感知的领域泛化方法划分为三个阶段：数据预处理（因果数据增强）、表征学习（不变因果表征学习）和分类（因果机制迁移）。
• 应用因果理论，如不变性与干预，以识别跨领域稳定的、分布不变的特征。
• 采用留一域排除交叉验证策略，用于多源领域泛化的评估。
• 采用训练域验证进行模型选择，将源域划分为训练部分与验证部分。
• 引入额外的因果评估指标，如最大信息系数（MIC）和总信息系数（TIC），以评估表征与标签的相关性。
• 将分类法扩展至文本与图数据，识别这些模态在因果表征学习与机制迁移方面存在的研究空白。

实验结果

研究问题

• RQ1 如何在机器学习流程的不同阶段系统性地利用因果性，以提升领域泛化能力？
• RQ2 因果性在数据增强、表征学习与分类阶段的应用方式有何关键差异？
• RQ3 为何在自然语言处理和基于图的领域泛化中，因果表征学习与因果机制迁移仍处于研究空白？
• RQ4 如MIC与TIC等因果评估指标如何补充传统基于准确率的指标，以评估模型的鲁棒性？
• RQ5 在比较因果感知的领域泛化方法时，哪些基准数据集与评估协议最为有效？

主要发现

• 所提出的三阶段分类法——因果数据增强、不变因果表征学习与因果机制迁移——为现有方法的分类提供了清晰的框架。
• 尽管因果数据增强在自然语言处理与图数据中已有广泛应用，但因果表征学习与机制迁移在这些领域仍处于研究空白。
• 使用MIC与TIC的评估结果表明，因果感知模型中学习到的表征与真实标签之间具有更强的一致性，验证了其因果不变性。
• 留一域排除协议是多源领域泛化中最广泛采用的评估策略，确保了对未见领域的鲁棒性。
• ColoredMNIST、RotatedMNIST等基准数据集被广泛使用，近期研究已扩展至文本与基于图的基准。
• 本综述指出，亟需标准化的因果评估指标，以超越准确率，验证学习特征的不变性。