[논문 리뷰] Model adaptation and unsupervised learning with non-stationary batch data under smooth concept drift

Subhro Das, Prasanth Lade외 1명|arXiv (Cornell University)|2020. 02. 10.

Data Stream Mining Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 후행 확률 분포의 변화를 정량적으로 측정하는 방법을 사용하여, 부드러운 개념 변화가 발생하는 비정상적인 배치 데이터에 대해 비지도, 반복적인 알고리즘을 제안한다. 제안된 방법은 적합하지 않은 모델보다 분류 정확도를 향상시키며, SGARC와 같은 최신 기법들과 비교해 유사하거나 더 나은 성능을 달성하면서도 런타임을 크게 줄였다. 이는 합성 데이터와 실제 제조 데이터를 대상으로 검증되었다.

ABSTRACT

Most predictive models assume that training and test data are generated from a stationary process. However, this assumption does not hold true in practice. In this paper, we consider the scenario of a gradual concept drift due to the underlying non-stationarity of the data source. While previous work has investigated this scenario under a supervised-learning and adaption conditions, few have addressed the common, real-world scenario when labels are only available during training. We propose a novel, iterative algorithm for unsupervised adaptation of predictive models. We show that the performance of our batch adapted prediction algorithm is better than that of its corresponding unadapted version. The proposed algorithm provides similar (or better, in most cases) performance within significantly less run time compared to other state of the art methods. We validate our claims though extensive numerical evaluations on both synthetic and real data.

연구 동기 및 목표

• 배포 시점에 레이블이 제공되지 않는 실세계 환경에서 모델 적응 문제를 해결하기 위해.
• 데이터 포인트 간 후행 확률 분포의 변화를 기반으로 개념 변화에 대한 정량적 정의를 개발하기 위해.
• 레이블이 적응 중에 제공되지 않더라도, 테스트 데이터와 이전에 학습된 모델만을 사용하여 모델 파라미터를 조정하는 효율적인 반복적 알고리즘을 설계하기 위해.
• 합성 및 실제 데이터 세트에서 방법을 검증하여 정확도 향상과 계산 비용 감소를 입증하기 위해.
• 제안된 방법이 SGARC와 같은 최신 기법들과 비교해 정확도에서 뒤지지 않거나 이를 초월하면서도 뚜렷이 더 빠른 런타임을 보일 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 각 데이터 포인트의 초기(학습) 데이터와 변화된(테스트) 데이터 간의 후행 확률 분포 변화를 측정하여 개념 변화를 정량화한다.
• 레이블에 접근할 수 없더라도, 테스트 데이터와 이전에 학습된 모델만을 사용하여 모델 파라미터를 조정하는 반복 최적화 과정을 수립한다.
• 안정적인 업데이트를 보장하기 위해 단계 크기 스케줄 γ^(k) = 50 / √(k+1)와 수렴 임계값 10^−10을 사용한다.
• 클래스 후행 확률의 이동을 분석하여 각 데이터 포인트가 변화 추정에 기여하는 중요도를 추정한다.
• Naive Bayes 분류기에서 적응 과정을 적용했지만, 이 프레임워크는 다른 분류기로도 일반화 가능하다.
• 모델과 테스트 데이터만이 학습 후 이용 가능한 배치 적응 설정에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 비정상적인 데이터 스트림에서 분류 작업에 있어 개념 변화를 어떻게 정량적으로 측정할 수 있는가?
• RQ2 레이블이 적응 중에 제공되지 않을 경우, 포인트별 변화 추정이 모델 성능에 어떤 영향을 미치는가?
• RQ3 비지도, 반복적 적응 알고리즘이 레이블이 필요한 최신 기법들과 비교해 유사하거나 더 나은 정확도를 달성하면서도 뚜렷이 더 빠른 런타임을 확보할 수 있는가?
• RQ4 제안된 방법은 점진적이고 부드러운 개념 변화를 보이는 실제 제조 데이터에서 어떻게 성능을 발휘하는가?
• RQ5 개념 변화 하에서 배치 모드 모델 적응에서 정확도와 계산 효율성 사이의 상호 보완적 관계는 어떠한가?

주요 결과

• UG_2C_2D 데이터셋에서 제안된 알고리즘은 96.08%의 분류 정확도를 기록했으며, SGARC (1NN)의 95.56%와 SGARC (SVM)의 95.53%를 초월했다.
• UG_2C_3D 데이터셋에서 방법은 95.11%의 정확도를 달성했으며, SGARC (1NN)의 94.77%와 SGARC (SVM)의 94.79%를 뛰어넘었다.
• UG_2C_5D 데이터셋에서 제안된 방법은 93.65%의 정확도를 기록했으며, SGARC (1NN)의 90.98%와 SGARC (SVM)의 88.24%를 초월했다.
• 제안된 알고리즘은 평균적으로 각 데이터셋당 5.20–5.50초가 소요되었으며, SGARC (SVM)의 10.11–120.21초 대비 뚜렷한 속도 우위를 보였다.
• 실제 제조 데이터셋에서 적응된 모델은 적합하지 않은 모델보다 성능이 뛰어났으며, 지도 기반 기준 모델과도 경쟁 가능했으며, 실세계 개념 변화 환경에서의 효과성을 입증했다.
• 모든 실험에서 알고리즘이 10회 이내에 수렴하여 빠른 수렴 속도와 낮은 계산 오버헤드를 보였다.