[논문 리뷰] Towards AutoML in the presence of Drift: first results

Jorge G. Madrid, Hugo Jair Escalante외 6명|arXiv (Cornell University)|2019. 07. 24.

Data Stream Mining Techniques참고 문헌 36인용 수 17

한 줄 요약

이 논문은 Auto-sklearn에 확장을 도입하여 데이터 스트림에서의 개념 변화(concept drift)에 자동으로 적응할 수 있도록 하여 자동 머신러닝을 발전시킨다. 이 방법은 변화 감지 및 모델 적응 전략을 통합함으로써, 변화가 감지될 경우 동적으로 모델을 재학습하거나 재가중하는 방식으로 변화하는 데이터셋에서 성능을 향상시킨다. 벤치마크 및 실제 AutoML2 챌린지 데이터셋에서 정적 기반 모델 대비 뚜렷한 정확도 향상을 보여주며, 이는 자동화된 적응 전략의 유용성을 입증한다.

ABSTRACT

Research progress in AutoML has lead to state of the art solutions that can cope quite wellwith supervised learning task, e.g., classification with AutoSklearn. However, so far thesesystems do not take into account the changing nature of evolving data over time (i.e., theystill assume i.i.d. data); even when this sort of domains are increasingly available in realapplications (e.g., spam filtering, user preferences, etc.). We describe a first attempt to de-velop an AutoML solution for scenarios in which data distribution changes relatively slowlyover time and in which the problem is approached in a lifelong learning setting. We extendAuto-Sklearn with sound and intuitive mechanisms that allow it to cope with this sort ofproblems. The extended Auto-Sklearn is combined with concept drift detection techniquesthat allow it to automatically determine when the initial models have to be adapted. Wereport experimental results in benchmark data from AutoML competitions that adhere tothis scenario. Results demonstrate the effectiveness of the proposed methodology.

연구 동기 및 목표

• i.i.d. 데이터를 가정하는 AutoML 시스템의 격차를 메우기 위해 실세계의 변화하는 데이터 스트림에서의 개념 변화에 적응할 수 있도록 하는 것.
• 데이터 분포가 시간이 지남에 따라 변화하는 환경에서 수명 주기 학습(LML) 설정에서 AutoML의 실현 가능성을 평가하는 것.
• 개념 변화 감지 기능을 AutoML 파이프라인에 통합하여 모델 재학습 및 앙상블 가중치 조정을 자동화하는 것.
• 개념 변화가 서서히 또는 급격히 발생하는 데이터 스트림에서 AutoML가 성능을 유지하거나 향상시킬 수 있는지 평가하는 것.

제안 방법

• 데이터 분포 변화가 감지될 경우 모델 적응을 트리거하는 변화 감지 메커니즘을 Auto-sklearn에 통합한다.
• 네 가지 적응 전략을 적용한다: 모델 교체, WU-all(모든 이전 모델을 사용한 재가중), WU-latest(최근 모델만 사용한 재가중), Add new(모델를 점진적으로 추가하는 방식).
• 성능 모니터링 및 변화 감지를 위해 배치 기반 평가를 사용하며, 변화가 확인된 후에 적응을 적용한다.
• 베이지안 최적화와 메타러닝을 조합하여 하이퍼파rameter 튜닝을 수행하며, Auto-sklearn의 핵심 AutoML 파이프라인을 유지한다.
• ADWIN 등 개념 변화 감지기(예: ADWIN)를 사용하여 데이터 배치 간 분포 변화를 식별한다.
• 합성 및 실제 데이터셋에서 다양한 적응 전략의 성능을 평가하며, 정적 기반 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 AutoML 시스템은 수동 조작 없이 데이터 스트림에서의 개념 변화에 효과적으로 적응할 수 있는가?
• RQ2 모델 재학습, 재가중 등 다양한 적응 전략의 성능는 변화 상황에서 어떻게 비교되는가?
• RQ3 AutoML에 변화 감지 기능을 통합하면 변화하는 데이터에서 장기적인 예측 성능이 향상되는가?
• RQ4 다양한 변화 특성(예: 급격한 변화 대비 서서히 변화하는 변화)을 가진 데이터셋에서 적응 전략의 성능는 어떻게 달라지는가?
• RQ5 추천 시스템이나 사용자 행동 예측과 같이 개념 변화가 흔한 실세계 데이터 스트림에서 AutoML는 높은 성능를 유지할 수 있는가?

주요 결과

• 모델 교체 전략은 기반 모델 대비 뚜렷한 성능 향상을 보였으며, AutoML2 챌린지의 RL 데이터셋에서 정확도를 47% 향상시켰다.
• WU-all 방법은 RH 데이터셋에서 상대적 73% 향상된 성능를 기록하여, 서서히 변화하는 개념 변화에 강력한 성능를 보였다.
• RI 데이터셋에서는 WU-latest 방법이 성능을 60% 이상 향상시켜, 변화 감지기의 감지 시점과 잘 맞는다는 것을 시사했다.
• Add new 모델 전략은 전후의 성능를 균형 있게 유지하지 못해 변화 상황에서 정확도를 유지하지 못했다.
• 급격한 변화를 보이는 합성 Stagger 데이터셋에서는 교체 전략를 제외한 모든 방법이 실패했으며, 이는 급격한 개념 변화에 대한 도전 과제를 잘 보여주었다.
• WU-batch 방법은 배치 선택에 민감하여 성능이 불안정했으며, 이는 가중치 조정의 불안정성을 시사했다.