[论文解读] Harnessing Out-Of-Distribution Examples via Augmenting Content and Style

Zhuo Huang, Xiaobo Xia+5 more|arXiv (Cornell University)|Jul 7, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出HOOD，一种新颖的框架，通过结构因果建模分离图像中的内容与风格，实现对良性与恶性分布外（OOD）数据的有效区分。通过变分推断最大化ELBO，并利用干预实现有针对性的数据增强，HOOD生成了鲁棒且风格不变的模型，提升了OOD检测性能，在开放集半监督学习、域适应和OOD检测任务中达到最先进水平。

ABSTRACT

Machine learning models are vulnerable to Out-Of-Distribution (OOD) examples, and such a problem has drawn much attention. However, current methods lack a full understanding of different types of OOD data: there are benign OOD data that can be properly adapted to enhance the learning performance, while other malign OOD data would severely degenerate the classification result. To Harness OOD data, this paper proposes a HOOD method that can leverage the content and style from each image instance to identify benign and malign OOD data. Particularly, we design a variational inference framework to causally disentangle content and style features by constructing a structural causal model. Subsequently, we augment the content and style through an intervention process to produce malign and benign OOD data, respectively. The benign OOD data contain novel styles but hold our interested contents, and they can be leveraged to help train a style-invariant model. In contrast, the malign OOD data inherit unknown contents but carry familiar styles, by detecting them can improve model robustness against deceiving anomalies. Thanks to the proposed novel disentanglement and data augmentation techniques, HOOD can effectively deal with OOD examples in unknown and open environments, whose effectiveness is empirically validated in three typical OOD applications including OOD detection, open-set semi-supervised learning, and open-set domain adaptation.

研究动机与目标

• 解决开放集机器学习场景中区分良性与恶性OOD数据的挑战。
• 通过利用良性OOD数据并检测和排除有害OOD数据，提升模型的泛化能力和鲁棒性。
• 开发一种解耦方法，打破内容与风格之间的虚假相关性，实现更不变且鲁棒的特征学习。
• 设计一种数据增强策略，通过在内容和风格上进行受控干预，生成良性与恶性OOD样本。
• 在三个关键OOD应用中实证验证该框架：OOD检测、开放集半监督学习和开放集域适应。

提出的方法

• 该方法构建一个结构因果模型（SCM），其中图像X被分解为内容C（物体身份）和风格S（颜色、亮度、方向），并以类别Y和域D作为下游目标。
• 采用变分推断框架，最大化联合分布P(X, Y, D)的近似证据下界（ELBO），实现内容与风格特征的因果解耦。
• 通过干预显式打破内容与风格之间的虚假相关性，确保内容在风格变化下保持不变。
• 通过将已知内容与新风格结合，生成良性OOD数据，保留已知内容但引入新视觉风格，以提升泛化能力。
• 通过将未知内容与已知风格结合，生成恶性OOD数据，生成的样本模仿分布内数据但包含未见类别，以提升OOD检测的鲁棒性。
• 该框架采用端到端训练，配备双分支头：一个用于类别预测（使用内容特征），一个用于域预测（使用风格特征），确保解耦性得以保持。

实验结果

研究问题

• RQ1 能否通过结构因果模型在图像数据中有效解耦内容与风格，以提升OOD泛化能力？
• RQ2 能否利用良性OOD数据（具有新颖风格但已知内容）来训练风格不变的模型？
• RQ3 能否利用恶性OOD数据（具有未知内容但熟悉风格）来提升对分布外异常的检测能力？
• RQ4 所提出的基于干预的数据增强策略是否能提升开放集学习和OOD检测的性能？
• RQ5 解耦对模型在域偏移和分布偏移下的鲁棒性有何影响？

主要发现

• HOOD在OOD检测、开放集半监督学习和开放集域适应基准上达到最先进性能。
• 消融实验证实，良性与恶性OOD数据均至关重要：移除任一类别均导致性能下降。
• 解耦显著提升了泛化能力，尤其在开放集域适应中，域不变特征至关重要。
• 即使在风格发生剧烈改变时，模型在内容分类任务上仍保持高准确率，证明了内容的有效保留。
• 基于干预的增强策略成功生成了良性与恶性OOD数据，可视化结果表明良性增强中内容保持不变，而恶性增强中内容被改变。
• 对增强数量的消融分析表明，每个样本使用四个增强样本可达到最优性能，兼顾多样性与分类难度。