[论文解读] Learning De-biased Representations with Biased Representations

Hyojin Bahng, Sanghyuk Chun+3 more|arXiv (Cornell University)|Oct 7, 2019

Machine Learning and Data Classification被引用 100

一句话总结

该论文提出 ReBias，一种正则化器，强制学习到的表示在统计意义上与一组由偏差驱动的表示独立，从而在无需显式偏差标签的情况下提升跨偏差泛化。

ABSTRACT

Many machine learning algorithms are trained and evaluated by splitting data from a single source into training and test sets. While such focus on in-distribution learning scenarios has led to interesting advancement, it has not been able to tell if models are relying on dataset biases as shortcuts for successful prediction (e.g., using snow cues for recognising snowmobiles), resulting in biased models that fail to generalise when the bias shifts to a different class. The cross-bias generalisation problem has been addressed by de-biasing training data through augmentation or re-sampling, which are often prohibitive due to the data collection cost (e.g., collecting images of a snowmobile on a desert) and the difficulty of quantifying or expressing biases in the first place. In this work, we propose a novel framework to train a de-biased representation by encouraging it to be different from a set of representations that are biased by design. This tactic is feasible in many scenarios where it is much easier to define a set of biased representations than to define and quantify bias. We demonstrate the efficacy of our method across a variety of synthetic and real-world biases; our experiments show that the method discourages models from taking bias shortcuts, resulting in improved generalisation. Source code is available at https://github.com/clovaai/rebias.

研究动机与目标

• 定义跨偏差泛化，并说明为何模型在训练数据中依赖捷径偏差。
• 引入偏差表征模型类 G，用以在不需要显式偏差标签的情况下捕捉偏差。
• 提出使用 HSIC 的 ReBias 正则化器，强制主预测器与偏置预测器之间独立。
• 给出一个学习目标，在最大化 HSIC 的最小化框架下，联合优化任务损失与去偏。
• 在合成与真实世界偏差上演示该方法（Biased MNIST、ImageNet、动作识别）。

提出的方法

• 定义一种偏差表征模型类 G，使其按设计捕捉偏差（例如用于纹理偏差的窄感受野 CNN、用于静态偏差的二维 CNN）。
• 将基于 HSIC 的独立性公式化为主预测器 f(X) 与 g(X)（对于 g ∈ G）之间的独立性。
• 使用类极小极大目标来推动 f 远离偏置预测：最小化 L(f,X,Y) + lambda * max_{g in G} HSIC(f(X), g(X))，并添加一个正则化偏置模型的项：max_{g in G} (HSIC(f,g) - lambda_g L(g))。
• 交替训练 f 和 g，确保 f 学到信号 S 而非偏置 B。
• 将 ReBias 应用于在显式偏置标签不可用但可以被 G 捕捉偏差的场景，使去偏在不进行数据增强或显式偏置量化的情况下实现。

实验结果

研究问题

• RQ1 是否可以通过使用偏差表征模型类 G，在不依赖显式偏差标签的情况下形成去偏目标？
• RQ2 鼓励主模型与偏置模型之间的独立性是否能提升在纹理、静态等偏差上的跨偏差泛化？
• RQ3 基于 HSIC 的正则化如何影响 f 相对于偏置对手方所学习的不变性？
• RQ4 与之前的去偏方法相比，ReBias 在合成偏差（Biased MNIST）和真实世界偏差（ImageNet、动作识别）上是否有效？

主要发现

• ReBias 在 Biased MNIST 的高度偏置训练情境下提升了无偏准确率，使从基线偏置性能到显著更高的无偏性能。
• 与 HEX 和 RUBi 相比，ReBias 在偏差类对上的改进更趋于均匀，实验中展现出更好的无偏泛化。
• 在 ImageNet 实验中，ReBias 相对于基线及某些先前方法显示出改善的跨偏置鲁棒性，指标包括纹理无偏指标及辅助基准（ImageNet-A、ImageNet-C）。
• 学习曲线显示 HSIC 下降与无偏准确率提升之间存在强相关性，表明该正则化器有效促进了偏差鲁棒表示。
• 该方法不需要显式偏置标签，而是依赖于偏差表征模型类 G 来捕捉合乎情理的捷径，使其适用于诸如动作识别和图像分类等视觉任务。