[논문 리뷰] Adversarial Validation Approach to Concept Drift Problem in Automated Machine Learning Systems

Jing Pan, Vincent Pham외 3명|arXiv (Cornell University)|2020. 04. 07.

Data Stream Mining Techniques인용 수 3

한 줄 요약

이 논문은 성능 저하가 발생하기 전에 사용자 타겟팅 자동화 시스템에서 개념 드리프트를 탐지하고 적응하기 위한 적대적 검증 기법을 제안한다. 오래된 데이터 분포와 새로운 데이터 분포를 구분하도록 판별기 모델을 훈련시킴으로써, 이 방법은 드리프트를 사전에 식별할 수 있으며, 이는 성능 저하 이전에 모델 재훈련을 가능하게 하고 새로운 데이터에 대한 예측 정확도를 향상시킨다. 이는 공개 AutoML3 데이터와 우버의 MaLTA 시스템을 통해 검증되었다.

ABSTRACT

In user targeting automation systems, concept drift in input data is one of the main challenges. It deteriorates model performance on new data over time. Previous research on concept drift mostly proposed model retraining after observing performance decreases. However, this approach is suboptimal because the system fixes the problem only after suffering from poor performance on new data. Here, we introduce an adversarial validation approach to concept drift problems in user targeting automation systems. With our approach, the system detects concept drift in new data before making inference, trains a model, and produces predictions adapted to the new data. We show that our approach addresses concept drift effectively with the AutoML3 Lifelong Machine Learning challenge data as well as in Uber's internal user targeting automation system, MaLTA.

연구 동기 및 목표

• 데이터 분포 변화로 인해 시간이 지남에 따라 성능이 저하되는 사용자 타겟팅 자동화 시스템에서의 개념 드리프트 문제를 해결하기 위해.
• 성능 저하 이후에만 재훈련하는 전통적 접근의 한계를 극복하기 위해, 성능 저하 이전에 드리프트를 탐지하기 위해.
• 새로운 데이터 분포에 대한 시기적절한 모델 적응을 가능하게 하는 사전 대응 방법을 개발하기 위해.
• 실제 AutoML3 라이프런닝 머신러닝 챌린지 및 우버의 MaLTA 시스템에서의 실세계 데이터를 기반으로 이 방법을 검증하기 위해.

제안 방법

• 과거(오래된) 데이터와 도착 중인(새로운) 데이터 분포를 구분할 수 있도록 판별기 모델을 훈련시키기.
• 판별기의 신뢰도 점수를 새로운 데이터에서의 개념 드리프트 조기 신호로 사용하기.
• 판별기가 분포의 급격한 변화를 감지할 경우 모델 재훈련을 트리거하기.
• 감지된 드리프트 적응 분포를 기반으로 예측 모델을 새로운 데이터에 대해 미세조정하기.
• 실시간 드리프트 탐지를 가능하게 하기 위해 추론 파이프라인에 적대적 검증 모듈 통합하기.
• 판별기의 출력을 활용해 데이터 전처리 및 모델 적응 전략을 안내하기.

실험 결과

연구 질문

• RQ1 적대적 검증은 성능 기반 재훈련 트리거보다 개념 드리프트를 더 이르게 탐지할 수 있는가?
• RQ2 적대적 검증 접근법은 새로운 데이터 분포에서의 모델 성능 유지에 얼마나 효과적인가?
• RQ3 이 방법은 MaLTA와 같은 실세계 사용자 타겟팅 시스템에 성공적으로 적용될 수 있는가?
• RQ4 예측 정확도와 지연 시간 측면에서 전통적 재훈련 전략과 비교해 이 방법은 어떻게 성능을 내는가?

주요 결과

• 적대적 검증 기법은 AutoML3 챌린지와 우버의 MaLTA 시스템 양쪽 모두에서 성능 저하 발생 이전에 개념 드리프트를 성공적으로 탐지하였다.
• 이 방법은 성능 저하 이후에 재훈련하는 것보다 시기적절한 모델 재훈련을 가능하게 하여 새로운 데이터에 대한 예측 정확도를 향상시켰다.
• 판별기가 오래된 데이터와 새로운 데이터를 구분하는 능력은 분포 변화의 신뢰할 수 있는 조기 경고 신호로 기능한다.
• 실제 운영 환경, 특히 대규모 생산용 사용자 타겟팅 시스템에서도 이 방법은 강건성과 효과성을 입증하였다.