[논문 리뷰] Testing for concept shift online

Vladimir Vovk|arXiv (Cornell University)|2020. 12. 28.

Data Stream Mining Techniques참고 문헌 11인용 수 4

한 줄 요약

이 논문은 콫라프티브 예측에서 유도된 분해 가능한 교환 가능성 마팅게일을 사용하여 기계 학습에서 온라인으로 개념 이탈을 탐지하는 새로운 방법을 제안한다. 레이블 이탈에서 개념 이탈에 대한 증거를 분리함으로써, 이 접근법은 유의미하게 향상된 탐지 성능을 달성한다 — USPS 데이터셋에서 최종 마팅게일 값이 10^43에 이르며, 이는 이전 방법을 뛰어넘는 성과이다.

ABSTRACT

This note continues study of exchangeability martingales, i.e., processes that are martingales under any exchangeable distribution for the observations. Such processes can be used for detecting violations of the IID assumption, which is commonly made in machine learning. Violations of the IID assumption are sometimes referred to as dataset shift, and dataset shift is sometimes subdivided into concept shift, covariate shift, etc. Our primary interest is in concept shift, but we will also discuss exchangeability martingales that decompose perfectly into two components one of which detects concept shift and the other detects what we call label shift. Our methods will be based on techniques of conformal prediction.

연구 동기 및 목표

• 시간이 지남에 따라 데이터 분포가 변화하는 분류 작업에서 온라인으로 개념 이탈을 탐지할 수 있는 방법을 개발하기 위해.
• 교환 가능성 마팅게일을 개념 이탈에 대한 증거와 레이블 이탈에 대한 증거를 분리할 수 있도록 구성하기 위해.
• 기존의 교환 가능성 마팅게일보다 향상된 성능을 내기 위해, 개념 이탈에 매우 민감하고 완전히 분해 가능한 마팅게일을 구성하기 위해.
• 감지 가능한 분포 이탈에 기반해 기계 학습 모델을 언제 재학습할지 결정할 수 있는 실용적인 프레임워크를 제공하기 위해.
• 코로프티브 예측 기법을 확장하여 Y→X 영역에서 ROC 분석을 무효로 만드는 위험한 이탈을 탐지하기 위해.

제안 방법

• 모든 교환 가능성 분포 하에서 마팅게일이 되는 교환 가능성 마팅게일을 구성함으로써, IID 가정 위반에 대한 온라인 가설 검정이 가능하게 한다.
• 레이블 조건부 적인 적합도 측정치를 사용하여, 레이블 순열에 대해 불변인 p-값을 생성함으로써 교환성을 보장한다.
• 코로프티브 p-값에 대해 슬립리 점퍼 전략을 적용하여, 분포 이탈 발생 시 증가하는 음이 아닌 마팅게일을 생성한다.
• 전체 마팅게일을 두 구성 요소의 곱으로 분해함: 하나는 조건부 p-값을 통해 개념 이탈을 탐지하고, 다른 하나는 근사 p-값을 통해 레이블 이탈을 탐지한다.
• 같은 클래스의 적합도 측정치와 가장 가까운 객체의 적합도 측정치를 사용하여, 적합도 스코어링 설계에 따른 탐지 성능 민감도를 탐색한다.
• 동일한 이론 2를 사용하여 개념 이탈과 레이블 이탈에 대한 별개의 마팅게일을 조합함으로써, IID 가정 하에서 제품이 유효한 교환 가능성 마팅게일임을 보장한다.

실험 결과

연구 질문

• RQ1 교환 가능성 마팅게일을 구성하여 개념 이탈을 특별히 탐지할 수 있는가? (레이블 이탈과 혼동하지 않고).
• RQ2 교환 가능성 마팅게일을 개념 이탈과 레이블 이탈를 별도로 탐지할 수 있는 구성 요소로 분해할 수 있는가?
• RQ3 분해 가능한 마팅게일의 성능이 비분해 가능한 것들보다 데이터셋 이탈 탐지에 있어 어떻게 비교되는가?
• RQ4 레이블 이탈에 대한 민감도를 희생시키지 않고도 개념 이탈 탐지 성능을 향상시킬 수 있는가?
• RQ5 다양한 적합도 측정치가 실제 세계 데이터셋에서 교환 가능성 마팅게일의 최종 값에 어떤 영향을 미치는가?

주요 결과

• 개념 이탈 탐지 마팅게일과 레이블 이탈 탐지 마팅게일의 곱은 유효하고 완전히 분해 가능한 교환 가능성 마팅게일을 형성한다.
• USPS 데이터셋에서, 분해 가능한 마팅게일은 약 5.16 × 10^43의 최종 값을 기록하여 이전 기록인 블랙 마팅게일을 압도적으로 뛰어넘었다.
• 그림 1의 빨간색(개념 이탈)과 초록색(레이블 이탈) 마팅게일은 약 3000개의 관측 이후 분해 가능한 접근법이 원래 검은 마팅게일을 압도함을 보여준다.
• 같은 클래스의 적합도 측정치를 사용하면 개념 이탈 탐지 성능이 크게 향상되지만, 레이블 이탈 탐지 성능은 감소한다.
• 적합도 스코어의 분모를 클래스에 관계없이 가장 가까운 이웃까지의 거리로 대체하면 개념 이탈 탐지 성능이 약간 악화되며, 이는 클래스 기반 거리가 더 유용하다는 것을 시사한다.
• 그림 1의 초록색 마팅게일과 그림 2의 빨간색 마팅게일을 조합하면 최종 마팅게일 값이 5.16 × 10^43에 이르며, 구성 요소별 최적화의 힘을 입증한다.