[논문 리뷰] Adversarial Validation Approach to Concept Drift Problem in User Targeting Automation Systems at Uber

Jing Pan, Vincent Pham외 3명|arXiv (Cornell University)|2020. 04. 07.

Data Stream Mining Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 우버의 사용자 타겟팅 자동화 시스템에서 개념 드프트를 탐지하고 완화하기 위해 적대적 검증 기반 접근법을 제안한다. 적대적 분류기를 사용하여 훈련 데이터와 테스트 데이터 간의 분포 이탈을 식별하며, 분류 성능을 향상시키기 위해 특성 선택 또는 데이터 재가중을 통해 성능을 향상시킨다. 특히 적대적 특성 선택 기법이 공개 및 내부 데이터셋 모두에서 다른 방법보다 뛰어난 성능을 보였다.

ABSTRACT

In user targeting automation systems, concept drift in input data is one of the main challenges. It deteriorates model performance on new data over time. Previous research on concept drift mostly proposed model retraining after observing performance decreases. However, this approach is suboptimal because the system fixes the problem only after suffering from poor performance on new data. Here, we introduce an adversarial validation approach to concept drift problems in user targeting automation systems. With our approach, the system detects concept drift in new data before making inference, trains a model, and produces predictions adapted to the new data. We show that our approach addresses concept drift effectively with the AutoML3 Lifelong Machine Learning challenge data as well as in Uber's internal user targeting automation system, MaLTA.

연구 동기 및 목표

• 특성 분포가 시간이 지남에 따라 변화하는 대규모 사용자 타겟팅 자동화 시스템에서 개념 드프트를 해결하기 위해.
• 모델 추론 이전에 훈련 데이터와 테스트 데이터 간의 분포 차이를 탐지하여 사전 적응을 가능하게 하기 위해.
• 성능 저하가 발생하기를 기다리지 않고 적대적 학습 기법을 활용해 새로운 데이터에 대한 일반화 성능을 향상시키기 위해.
• 실제 세계 및 벤치마크 데이터셋에서 세 가지 적대적 검증 기법—특성 선택, 검증 데이터 선택, 역확률 가중치—를 평가하고 비교하기 위해.
• 적대적 특성 선택 기법이 고노이즈, 대규모 환경에서 전통적인 확률 점수 기반 방법보다 더 강력하고 효과적임을 입증하기 위해.

제안 방법

• 훈련 데이터와 테스트 데이터 분포를 구분하는 적대적 분류기를 훈련하여, 모델 성능을 분포 이탈의 지표로 사용한다.
• 적대적 분류기의 주의 메커니즘을 활용해 분포 차이를 유발하는 데 가장 기여하는 특성을 선택함으로써 테스트 데이터에서의 일반화 성능을 향상시킨다.
• 역확률 가중치(IPW)를 적용하여 테스트 분포에 속할 가능성이 높은 훈련 샘플을 재가중함으로써 도메인 이탈을 줄인다.
• 테스트 데이터 분포와 유사한 훈련 샘플을 필터링하여 검증 데이터 선택을 구현함으로써 검증 성능을 테스트 성능의 대체 지표로 향상시킨다.
• 결측치 처리 및 복잡한 특성 상호작용을 다룰 수 있도록 GBDT(예: LightGBM)를 사용해 적대적 탐지와 모델 훈련을 통합한다.
• 적대적 분류기의 출력을 신호로 활용해 배포 이전에 모델 재훈련 및 적응을 유도함으로써 사전적 개념 드프트 완화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 성능 저하 이후 재훈련하는 방식보다 적대적 검증이 개념 드프트를 더 이르게 탐지할 수 있는가?
• RQ2 실제 사용자 타겟팅 시스템에서 특성 선택, 검증 데이터 선택, IPW 등 다양한 적대적 검증 기법이 개념 드프트를 어떻게 완화하는가?
• RQ3 고노이즈, 대규모 환경에서 왜 적대적 특성 선택이 IPW 및 검증 데이터 선택보다 성능이 뛰어나게 되는가?
• RQ4 분포 이탈이 발생할 경우, 적대적 탐지 기법이 미리 보지 않은 테스트 데이터에서 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ5 적대적 탐지 기법을 어떻게 모델 훈련 파이프라인에 통합하여 생산 환경에서의 수명 주기 학습을 가능하게 할 수 있는가?

주요 결과

• 적대적 특성 선택 기법은 우버의 MaLTA 시스템 및 AutoML3 챌린지 데이터셋을 포함한 모든 데이터셋에서 검증 데이터 선택 및 IPW 기법을 일관되게 능가했다.
• MaLTA 데이터셋에서 적대적 특성 선택은 기준 모델의 테스트 AUC 61.34%를 63.05%로 끌어올려 1.71%p의 성능 향상을 이뤘다.
• 노이즈가 많은 확률 점수 추정에 의존하는 대신 분류기의 주의 기반으로 특성 선택을 집중함으로써 성능 추정의 분산을 줄였다.
• IPW는 편향을 줄였지만, 역확률 가중치 추정의 노이즈로 인해 높은 분산과 열 劣한 성능를 보였다.
• 검증 데이터 선택은 검증 AUC를 약간 향상시켰지만, 특성 선택만큼 일반화 성능가 떨어져 프록시 기반 검증의 한계를 보여주었다.
• 본 연구는 적대적 탐지의 품질이 후속 모델 훈련 방법보다 더 중요하며, 강력한 특성 구분 능력의 필요성을 강조한다.