[论文解读] Informative Dropout for Robust Representation Learning: A Shape-bias Perspective

Baifeng Shi, Dinghuai Zhang+4 more|arXiv (Cornell University)|Aug 10, 2020

Adversarial Robustness in Machine Learning被引用 46

一句话总结

本文提出 Informative Dropout（InfoDrop），一种轻量级、与模型无关的方法，通过丢弃低信息输入区域来降低卷积神经网络的纹理偏置，从而在跨域泛化、少样本分类、图像损坏以及对抗性场景中提升鲁棒性。

ABSTRACT

Convolutional Neural Networks (CNNs) are known to rely more on local texture rather than global shape when making decisions. Recent work also indicates a close relationship between CNN's texture-bias and its robustness against distribution shift, adversarial perturbation, random corruption, etc. In this work, we attempt at improving various kinds of robustness universally by alleviating CNN's texture bias. With inspiration from the human visual system, we propose a light-weight model-agnostic method, namely Informative Dropout (InfoDrop), to improve interpretability and reduce texture bias. Specifically, we discriminate texture from shape based on local self-information in an image, and adopt a Dropout-like algorithm to decorrelate the model output from the local texture. Through extensive experiments, we observe enhanced robustness under various scenarios (domain generalization, few-shot classification, image corruption, and adversarial perturbation). To the best of our knowledge, this work is one of the earliest attempts to improve different kinds of robustness in a unified model, shedding new light on the relationship between shape-bias and robustness, also on new approaches to trustworthy machine learning algorithms. Code is available at https://github.com/bfshi/InfoDrop.

研究动机与目标

• 动机并量化卷积神经网络纹理偏置与在分布漂移、损坏和对抗扰动下的非鲁棒性之间的关系。
• 提出一种轻量、可插拔的机制（InfoDrop），用于减少纹理偏置并增强形状偏置。
• 展示应用 InfoDrop 时的普遍鲁棒性提升，以及与其他鲁棒性技术的兼容性。

提出的方法

• 定义局部补丁的自信息，并通过在局部邻域上的核密度估计来近似其分布。
• 使用玻尔兹曼形式 r(z) ∝ exp(-I(p)/T) 计算每个输出激活的丢弃概率，其中 I 是自信息，T 是一个温度参数。
• 在训练时应用类似 dropout 的过程，对高信息区域更少置零，对低信息区域更多置零，有效地使输出与纹理样本输入去相关。
• 在保持标准卷积前向传播的同时，基于补丁信息内容随机掩蔽输出。
• 在推理阶段，移除 InfoDrop，并在干净数据上进行可选的微调，以评估在不依赖测试时 InfoDrop 的情况下出现的形状偏置。

实验结果

研究问题

• RQ1 通过 InfoDrop 降低局部纹理偏置是否会在卷积神经网络中诱导更强的形状偏置表征？
• RQ2 InfoDrop 是否能提升对领域漂移、少样本泛化、随机损坏和对抗扰动的鲁棒性？
• RQ3 InfoDrop 是否与现有鲁棒性技术兼容，并对不同架构和任务有益？

主要发现

• InfoDrop 在域泛化、少样本分类以及对随机损坏的鲁棒性方面，相对于基线持续带来改进。
• 用 InfoDrop 训练的模型表现出形状偏置行为，可从定性显著性图和对形状信息的敏感性中看出。
• InfoDrop 可以与对抗性训练结合，在适度开销下进一步增强鲁棒性。
• InfoDrop 在源域上的降解较少，在单源和多源域泛化设置中提升目标域性能。
• 在强调形状的任务（例如草图风格域）和跨域转移场景中，改进尤为明显。