[논문 리뷰] Modeling and Simultaneously Removing Bias via Adversarial Neural Networks

John R. Moore, Joel Pfeiffer외 6명|arXiv (Cornell University)|2018. 04. 18.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 5

한 줄 요약

이 논문은 광고 위치와 같은 혼동 요인에 영향을 받지 않는 표현을 학습함으로써 온라인 광고에서 위치 편향을 동시에 모델링하고 제거하는 적대적 신경망(ANN) 프레임워크를 제안한다. 미분 가능한 제곱 공분산 손실과 비버프 네트워크를 사용하여, 탐색 데이터가 필요 없이 실제 훈련 데이터에서 최소한의 성능 손실로 불편한 데이터에서 최대 0.19 AUC 향상을 달성하며, 기준 모델보다 뛰어난 성능을 보인다.

ABSTRACT

In real world systems, the predictions of deployed Machine Learned models affect the training data available to build subsequent models. This introduces a bias in the training data that needs to be addressed. Existing solutions to this problem attempt to resolve the problem by either casting this in the reinforcement learning framework or by quantifying the bias and re-weighting the loss functions. In this work, we develop a novel Adversarial Neural Network (ANN) model, an alternative approach which creates a representation of the data that is invariant to the bias. We take the Paid Search auction as our working example and ad display position features as the confounding features for this setting. We show the success of this approach empirically on both synthetic data as well as real world paid search auction data from a major search engine.

연구 동기 및 목표

• 높은 위치에 있는 광고가 훈련 데이터를 지배하고 클릭률(CTR) 예측을 왜곡하는 피드백 루프 편향을 해결하기 위함.
• 광고 위치와 같은 혼동 요인에 영향을 받지 않는 표현 학습 방법을 개발하여, 모든 광고에 대해 공정한 CTR 추정을 보장하기 위함.
• 비용이 많이 드는 온라인 탐색을 제거하기 위해, 기존의 편향된 데이터셋에서 재학습 없이도 편향 제거가 가능하도록 하기 위함.
• 대규모 검색 엔진의 실세계 페이드 서치 데이터를 포함한 합성 데이터와 실세계 데이터를 바탕으로 모델의 효과성을 실증적으로 검증하기 위함.

제안 방법

• 모델은 베이스, 예측, 편향, 비버프 네트워크의 네 가지 구성 요소로 구성되며, 최종 예측은 비버프와 예측 출력의 선형 조합으로 구성된다.
• 편향 네트워크는 저랭크 표현 Z_A에서 광고 위치를 예측하도록 훈련되며, 베이스, 예측, 비버프 네트워크는 편향 네트워크의 정확도를 저하시키기 위해 유연한 제곱 공분산 손실을 최소화하는 데 함께 기여한다.
• 비버프 구조는 위치 효과를 별도로 선형적으로 모델링할 수 있게 해주며, 위치별 예측에 대한 해석 가능성과 성능를 유지한다.
• 모델는 하이퍼파ram터 λ를 통해 편향 제거와 CTR 예측 정확도 사이의 균형을 조절하며, 종합적으로 훈련된다.
• 프레임워크는 제어된 피드백 루프를 가진 합성 데이터와 5억 개 샘플을 포함한 실세계 페이드 서치 데이터에서 평가되며, AUC와 MSE를 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 적대적 신경망 아키텍처가 예측 정확도를 유지하면서도 위치에 대한 불변 표현을 효과적으로 학습할 수 있는가?
• RQ2 합성 데이터에서 체계적이고 사용자 수준의 위치 편향이 존재할 경우 모델의 성능는 어떠한가?
• RQ3 편향이 없는 테스트 데이터에서 일반화 성능를 향상시키는 데 얼마나 효과적인가? 동시에 실세계 훈련 데이터에서 성능 손실는 최소한으로 유지되는가?
• RQ4 추가적인 데이터 수집 없이도 탐색 또는 재가중 기반 기존 방법보다 제안된 방법이 우월한가?

주요 결과

• 사용자 수준의 위치 편향이 25%인 합성 데이터에서, λ=0에서 λ=0.9999로 변화할 때 AUC가 최대 19% 상승하여 효과적인 편향 완화를 입증했다.
• 실세계 데이터에서, 불편한 RUS 테스트 세트에서 0.19 AUC 향상을 달성했고, FL 훈련 세트에서는 단지 -0.03 AUC의 성능 손실를 기록하여 강력한 일반화 성능와 최소한의 실세계 성능 손실를 동시에 확보했다.
• 학습된 표현 Z_A와 위치 특성 간의 상관관계가 제곱 공분산 손실로 측정되어 감소했으며, 이는 불변 목표의 성공을 확인한다.
• 비버프 네트워크는 위치별 CTR에 대해 높은 예측 성능를 유지했으며, 이는 위치 효과가 손실되지 않고 별도로 모델링되었음을 보여준다.
• 프레임워크는 합성 및 실세계 데이터 모두에서 잘 일반화되며, 다양한 λ 수준에서 편향이 없는 테스트 세트의 AUC에서 일관된 향상이 관찰되었다.