[논문 리뷰] Detecting Concept Drift With Neural Network Model Uncertainty

Lucas Baier, Tim Schlör외 2명|arXiv (Cornell University)|2021. 07. 05.

Data Stream Mining Techniques인용 수 14

한 줄 요약

이 논문은 몬테카를로 드롭아웃을 활용해 신경망 예측 불확실성을 추정하고, ADWIN 알고리즘을 적용하여 진정한 레이블이 필요 없이 실시간으로 분포 이탈을 탐지하는 새로운 개념 드리프트 탐지 방법인 불확실성 드리프트 탐지(UDD)를 제안한다. UDD는 실제 데이터 10개와 합성 데이터 2개의 세트에서 분류 및 회귀 작업 모두에서 최신 기술 대비 뛰어난 성능을 보이며, 최소한의 레이블 접근만으로도 효율적인 재학습을 가능하게 한다.

ABSTRACT

Deployed machine learning models are confronted with the problem of changing data over time, a phenomenon also called concept drift. While existing approaches of concept drift detection already show convincing results, they require true labels as a prerequisite for successful drift detection. Especially in many real-world application scenarios-like the ones covered in this work-true labels are scarce, and their acquisition is expensive. Therefore, we introduce a new algorithm for drift detection, Uncertainty Drift Detection (UDD), which is able to detect drifts without access to true labels. Our approach is based on the uncertainty estimates provided by a deep neural network in combination with Monte Carlo Dropout. Structural changes over time are detected by applying the ADWIN technique on the uncertainty estimates, and detected drifts trigger a retraining of the prediction model. In contrast to input data-based drift detection, our approach considers the effects of the current input data on the properties of the prediction model rather than detecting change on the input data only (which can lead to unnecessary retrainings). We show that UDD outperforms other state-of-the-art strategies on two synthetic as well as ten real-world data sets for both regression and classification tasks.

연구 동기 및 목표

• 진정한 레이블이 희소하거나 확보하기 어려운 실세계 머신러닝 구현 환경에서 개념 드리프트 탐지 문제를 해결하기 위해.
• 기존의 오차율 기반 접근 방식과 달리, 타당한 레이블이 없는 탐지 방법을 개발하기 위해.
• 딥 신경망에서 유도된 불확실성 추정을 활용해 분류 및 회귀 작업 모두에서 효과적인 개념 드리프트 처리를 가능하게 하기 위해.
• 입력 데이터 분포의 변화만으로는 아닌 모델 행동 기반으로 드리프트를 탐지하여 불필요한 재학습을 줄이기 위해.

제안 방법

• 추론 시점에 드롭아웃을 적용하여 확률적 출력을 생성함으로써 딥 신경망의 예측 불확실성을 추정한다.
• 다중 순방향 전파를 통해 엔트로피(분류) 또는 분산(회귀)을 계산하여 불확실성 추정을 수행한다.
• 불확실성 값의 스트림에 ADWIN 변화 탐지 알고리즘을 적용하여 시간에 따른 구조적 변화를 식별한다.
• 드리프트 탐지 시, 미세조정을 위한 제한된 수의 진정한 레이블에 접근 가능하다고 가정하고 모델 재학습을 촉발한다.
• 불확실성 10분위수를 활용해 불확실성과 예측 오차 간의 상관관계를 검증함으로써, 신뢰도의 대체 지표로서의 유용성을 확인한다.
• 불확실성 계산 방식을 적절히 조정함으로써 분류 및 회귀 작업 모두를 지원한다.

실험 결과

연구 질문

• RQ1 실세계 머신러닝 구현 환경에서 진정한 레이블에 접근할 수 없을 때 개념 드리프트를 신뢰성 있게 탐지할 수 있는가?
• RQ2 몬테카를로 드롭아웃에서 유도된 모델 불확실성은 입력 데이터 기반의 드리프트 탐지 방식보다 개념 드리프트 탐지에 얼마나 효과적인가?
• RQ3 불확실성 기반의 드리프트 탐지 방식은 입력 분포 기반 방법 대비 불필요한 재학습 횟수를 줄일 수 있는가?
• RQ4 UDD는 다양한 실세계 데이터셋에서 드리프트 특성(예: 급격한 변화, 점진적 변화 등)이 상이한 분류 및 회귀 설정에서 어떻게 성능을 발휘하는가?
• RQ5 불확실성은 개념 드리프트 탐지에서 예측 오차의 신뢰할 수 있는 대체 지표로 기능할 수 있는가?

주요 결과

• UDD는 분류 및 회귀 작업 모두에서 10개의 실세계 데이터셋 전부에서 모든 베이스라인 방법을 능가했으며, 8개의 분류 데이터셋 중 7개에서 가장 높은 예측 성능를 기록했다.
• KDDCUP99 데이터셋에서 UDD는 재학습 횟수를 16회로 줄였고, KSWIN(unl.) 전략 대비 345회에 비해 유사한 예측 성능를 유지했다.
• ADWIN는 진정한 레이블에 전면 접근이 가능했음에도 불구하고, UDD는 Insects Abrupt, Insects IncAbr, Gas Sensor 3개 데이터셋에서 더 뛰어난 성능를 기록했다.
• 불확실성 10분위수와 예측 성능 간의 관계를 통해 높은 불확실성은 낮은 정확도와 높은 RMSE를 동반함을 확인했으며, 이는 불확실성이 오차의 신뢰할 수 있는 대체 지표임을 검증했다.
• 고정된 재학습 주기로 작동하는 Uninformed 재학습 전략이 KSWIN 및 기타 레이블 집약적 방법보다 자주 뛰어난 성능를 보였으며, 이는 레이블 집약적 접근 방식의 비효율성을 드러냈다.
• UDD는 급격한 변화와 점진적 변화를 포함한 다양한 데이터 유형과 드리프트 패턴에 대해 강건한 성능를 보였으며, 사전에 드리프트 유형을 알지 못하더라도 성능를 유지했다.