[論文レビュー] Modeling and Simultaneously Removing Bias via Adversarial Neural Networks

John R. Moore, Joel Pfeiffer+6 more|arXiv (Cornell University)|Apr 18, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用数 5

ひとこと要約

本論文は、広告掲載位置などの混同要因に依存しない表現を学習することで、オンライン広告における位置バイアスを同時にモデル化・除去する敵対的ニューラルネットワーク（ANN）フレームワークを提案する。微分可能で二乗共分散損失とバイパスネットワークを用いることで、偏りのないデータ上で最大0.19のAUC向上を達成し、実世界の訓練データにおける損失は最小限に抑えられ、探索データを必要としないベースラインモデルを上回る性能を発揮する。

ABSTRACT

In real world systems, the predictions of deployed Machine Learned models affect the training data available to build subsequent models. This introduces a bias in the training data that needs to be addressed. Existing solutions to this problem attempt to resolve the problem by either casting this in the reinforcement learning framework or by quantifying the bias and re-weighting the loss functions. In this work, we develop a novel Adversarial Neural Network (ANN) model, an alternative approach which creates a representation of the data that is invariant to the bias. We take the Paid Search auction as our working example and ad display position features as the confounding features for this setting. We show the success of this approach empirically on both synthetic data as well as real world paid search auction data from a major search engine.

研究の動機と目的

• 高順位広告が訓練データを支配し、クリック率（CTR）予測を歪めるフィードバックループバイアスを是正すること。
• 広告掲載位置などの混同要因に不変な表現学習手法を開発し、すべての広告に対してより公平なCTR推定を実現すること。
• コストの高いオンライン探索を不要にすることで、再訓練を必要とせず、既存のバイアスのあるデータセット上でバイアス除去を可能にすること。
• 大手検索エンジンの実世界のパーソナライズド検索データを用いて、フィードバックループを模擬した合成データと実データの両方で、モデルの有効性を実証的に検証すること。

提案手法

• モデルは4つのコンponent（ベース、予測、バイアス、バイパス）ネットワークを備え、最終的な予測はバイパス出力と予測出力の線形結合によって形成される。
• バイアスネットワークは低ランク表現Z_Aから広告掲載位置を予測するように学習されるが、ベース、予測、バイパスネットワークは、微分可能で二乗共分散損失を用いてバイアスネットワークの精度を抑える損失関数を同時に最小化する。
• バイパス構造により、位置効果を別個に線形モデル化でき、解釈可能性と位置特化予測のパフォーマンスを維持する。
• ハイパーパrameter λ を用いて、バイアス除去とCTR予測精度のトレードオフを制御し、エンドツーエンドでモデルを訓練する。
• フレームワークは、制御されたフィードバックループを持つ合成データと、5億件のサンプルを含む実世界のパーソナライズド検索データを用いて評価され、AUCとMSEを指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的ニューラルネットワークアーキテクチャは、予測精度を維持しながら、CTR特徴の位置不変表現を効果的に学習できるか？
• RQ2 合成データにおける体系的かつユーザー単位の位置バイアスに直面した場合、モデルの性能はいかがであるか？
• RQ3 偏りのないテストデータにおける一般化性能をどの程度向上できるか、一方で実世界の訓練データにおけるパフォーマンス低下はどの程度か？
• RQ4 追加のデータ収集がなければ、探索や再重み付けに依存する従来の手法を上回るか？

主な発見

• ユーザー単位の位置バイアスが25%の合成データでは、λ=0からλ=0.9999に変更した際、AUCが最大19%相対的に向上し、効果的なバイアス緩和が確認された。
• 実世界のデータでは、偏りのないRUSデータで0.19のAUC向上を達成した一方で、FL訓練セットではたった-0.03のAUC低下に抑えられ、強い一般化性能と最小限の実世界パフォーマンス低下を示した。
• 学習された表現Z_Aと位置特徴の間の相関が、二乗共分散損失によって測定され、不変性の目的関数が正当化された。
• バイパスネットワークは、位置特化CTR予測において高い予測性能を維持しており、位置効果が消失するのではなく別個にモデル化されていることが示された。
• フレームワークは合成データおよび実世界データの両方で良好に一般化され、λの異なる値においても、偏りのないテストセットでのAUCに一貫した改善が見られた。