[论文解读] Modeling and Simultaneously Removing Bias via Adversarial Neural Networks

John R. Moore, Joel Pfeiffer+6 more|arXiv (Cornell University)|Apr 18, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用 5

一句话总结

本文提出了一种对抗性神经网络（ANN）框架，通过学习对混杂特征（如广告位置）不变的表征，同时建模并消除在线广告中的位置偏差。通过使用可微分的平方协方差损失和旁路网络，该模型在无偏数据上实现了最高0.19的AUC增益，同时在真实世界训练数据上的性能损失极小，优于基线模型，且无需探索数据。

ABSTRACT

In real world systems, the predictions of deployed Machine Learned models affect the training data available to build subsequent models. This introduces a bias in the training data that needs to be addressed. Existing solutions to this problem attempt to resolve the problem by either casting this in the reinforcement learning framework or by quantifying the bias and re-weighting the loss functions. In this work, we develop a novel Adversarial Neural Network (ANN) model, an alternative approach which creates a representation of the data that is invariant to the bias. We take the Paid Search auction as our working example and ad display position features as the confounding features for this setting. We show the success of this approach empirically on both synthetic data as well as real world paid search auction data from a major search engine.

研究动机与目标

• 解决在线广告系统中的反馈循环偏差问题，即高位置广告主导训练数据并导致点击率（CTR）预测偏差。
• 开发一种对混杂特征（如广告位置）不变的表征学习方法，确保所有广告的CTR估计更加公平。
• 消除对昂贵在线探索的需求，实现在现有有偏数据集上直接去除偏差，而无需从头开始重新训练。
• 通过在模拟反馈循环的合成数据和来自主流搜索引擎的真实世界付费搜索数据上进行实证验证，评估模型的有效性。

提出的方法

• 该模型包含四个组件：基础网络（Base）、预测网络（Prediction）、偏差网络（Bias）和旁路网络（Bypass），最终预测结果由旁路网络和预测网络输出的线性组合构成。
• 偏差网络被训练以从低秩表征Z_A中预测广告位置，而基础网络、预测网络和旁路网络则联合最小化一个损失函数，通过可微分的平方协方差损失惩罚偏差网络的准确性。
• 旁路结构允许单独对位置效应进行线性建模，从而保持可解释性与位置特定预测的性能。
• 模型通过超参数λ端到端训练，以控制偏差去除与CTR预测准确性之间的权衡。
• 该框架在具有受控反馈循环的合成数据和包含5亿条样本的真实世界付费搜索数据上进行评估，使用AUC和MSE作为指标。

实验结果

研究问题

• RQ1 对抗性神经网络架构能否在保持预测准确性的同时，有效学习CTR特征的位置不变表征？
• RQ2 当面对合成数据中的系统性偏差和用户级位置偏差时，该模型表现如何？
• RQ3 该模型在无偏测试数据上提升泛化能力的程度如何，同时在真实世界训练数据上性能损失是否极小？
• RQ4 在无额外数据收集的情况下，该方法是否优于依赖探索或重加权的现有方法？

主要发现

• 在具有25%用户级位置偏差的合成数据上，当λ从0增加到0.9999时，模型AUC相对提升最高达19%，表明偏差缓解效果显著。
• 在真实世界数据上，模型在无偏RUS数据上实现了0.19的AUC增益，而FL训练集上的AUC仅下降0.03，表明泛化能力强且真实世界性能损失极小。
• 模型成功降低了学习表征Z_A与位置特征之间的相关性，如平方协方差损失所测量，证实了不变性目标的有效性。
• 旁路网络在位置特定CTR预测中保持了高性能，表明位置效应并未丢失，而是被独立建模。
• 该框架在合成数据和真实世界数据上均表现出良好泛化能力，在不同λ值下，无偏测试集的AUC均持续提升。