[논문 리뷰] Temporally-Biased Sampling for Online Model Management

Brian Hentschel, Peter J. Haas외 1명|arXiv (Cornell University)|2018. 01. 29.

Data Stream Mining Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 온라인 모델 관리에 대해 시간에 따라 가중치가 주어진 샘플링(T-TBS 및 R-TBS)을 제안한다. 여기서 데이터 항목은 도착 시점에 따라 포함 확률이 지수적으로 감소하도록 샘플링되며, 최근 데이터를 우선시하면서도 오래된 데이터를 유지하여 안정성을 확보한다. R-TBS 알고리즘은 변동하는 데이터 도착률 상황에서도 감소율 제어와 유한한 샘플 크기 보장을 동시에 보장하여 슬라이딩 윈도우보다 적응성과 안정성이 뛰어나다.

ABSTRACT

To maintain the accuracy of supervised learning models in the presence of evolving data streams, we provide temporally-biased sampling schemes that weight recent data most heavily, with inclusion probabilities for a given data item decaying exponentially over time. We then periodically retrain the models on the current sample. This approach speeds up the training process relative to training on all of the data. Moreover, time-biasing lets the models adapt to recent changes in the data while -- unlike in a sliding-window approach -- still keeping some old data to ensure robustness in the face of temporary fluctuations and periodicities in the data values. In addition, the sampling-based approach allows existing analytic algorithms for static data to be applied to dynamic streaming data essentially without change. We provide and analyze both a simple sampling scheme (T-TBS) that probabilistically maintains a target sample size and a novel reservoir-based scheme (R-TBS) that is the first to provide both complete control over the decay rate and a guaranteed upper bound on the sample size, while maximizing both expected sample size and sample-size stability. The latter scheme rests on the notion of a "fractional sample" and, unlike T-TBS, allows for data arrival rates that are unknown and time varying. R-TBS and T-TBS are of independent interest, extending the known set of unequal-probability sampling schemes. We discuss distributed implementation strategies; experiments in Spark illuminate the performance and scalability of the algorithms, and show that our approach can increase machine learning robustness in the face of evolving data.

연구 동기 및 목표

• 학습 알고리즘의 재설계 없이 변화하는 데이터 스트림에 대응하여 모델 정확도를 유지하는 데 도전하는 것.
• 최근 데이터를 우선시하면서도 오래된 데이터를 유지하여 노이즈와 주기적 변동에 저항할 수 있도록 샘플링 기법을 설계하는 것.
• 정적 머신러닝 모델을 스트리밍 데이터에 대해 주기적으로 재학습할 수 있도록, 최소한의 계산 비용으로 작동하는 샘플링 방법을 제공하는 것.
• 변동하는 데이터 도착률 상황에서 조건부로 유한한 샘플 크기와 함께 포함 확률의 지수 감쇠를 보장하는 리저보아르 기반 알고리즘(R-TBS)을 개발하는 것.
• 실세계 스트리밍 워크로드에 적합한 시간에 따라 가중치가 주어진 샘플링의 분산 배포 및 확장성 지원

제안 방법

• T-TBS는 목표 샘플 크기를 유지하기 위해 확률적 샘플링을 사용하며, 각 데이터 항목의 포함 확률은 도착 타임스탬프에 따라 시간이 지남에 따라 지수적으로 감소한다.
• R-TBS는 '분수 샘플' 개념을 도입하여 동적 샘플 크기 조정이 가능하게 하여 감쇠율과 최대 샘플 크기 모두를 제어할 수 있도록 한다.
• 알고리즘은 서로 다른 타임스탬프에서 온 항목의 포함 확률 비율이 Pr[i ∈ St]/Pr[j ∈ St] = e^−λ(t′′−t′)로 지수 감쇠함을 보장하여 핵심 해석 가능성 기준을 충족시킨다.
• R-TBS는 유한한 샘플 크기 제약 조건 하에서 최적의 기대 샘플 크기와 최소한의 샘플 크기 분산을 달성하는 최초의 리저보아르 기반 기법이다.
• 이 방법은 배치 도착을 지원하며, 스트리밍 알고리즘에서 유도된 기법들을 활용해 분산 구현이 가능하다.
• 이론적 분석을 통해 R-TBS가 지수 감쇠를 갖는 모든 유한한 크기의 샘플링 기법 중 기대 샘플 크기를 최대화하고 분산을 최소화함을 증명했다.

실험 결과

연구 질문

• RQ1 전체 데이터 재학습 대비 재학습 비용을 줄이면서도 샘플링 기반 접근이 변화하는 데이터 스트림에서 모델 정확도를 유지할 수 있는가?
• RQ2 최근 데이터를 우선시하면서도 오래된 데이터를 유지하기 위해 포함 확률를 어떻게 제어할 수 있는가?
• RQ3 변동하는 데이터 도착률 상황에서 리저보아르 기반 샘플링 알고리즘이 포함 확률의 지수 감쇠를 유지하면서도 유한한 샘플 크기를 보장할 수 있는가?
• RQ4 시간에 따라 가중치가 주어진 샘플링의 성능은 개념 이동과 주기적 패턴을 다룰 때 슬라이딩 윈도우 접근 방식보다 어떻게 다른가?
• RQ5 시간에 따라 가중치가 주어진 샘플링의 분산 스트리밍 시스템에서의 확장성 및 분산 특성은 어떠한가?

주요 결과

• R-TBS는 지수 감쇠를 갖는 모든 유한한 크기의 샘플링 기법 중에서 최적의 기대 샘플 크기와 최소한의 샘플 크기 분산을 달성한다.
• R-TBS는 알려지지 않은 시간에 따라 변동하는 데이터 도착률 상황에서도 작동하여 단순한 기법에서 발생하는 샘플 오버플로우 및 언더플로우 문제를 피한다.
• 스파크 환경에서의 실험 결과, 시간에 따라 가중치가 주어진 샘플링이 비정상적인 사건과 주기적 데이터 패턴 상황에서 모델의 안정성을 향상시키며 슬라이딩 윈도우 기법을 능가함을 입증했다.
• 이 방법은 정적 머신러닝 알고리즘을 최소한의 수정으로 동적 스트리밍 환경에 적용할 수 있게 하여 시간이 지남에 따라도 모델 정확도를 유지한다.
• R-TBS는 정밀한 파rameter 조정이 필요 없으며, 다양한 감쇠율(λ)에 대해 잘 작동한다. 반면 슬라이딩 윈도우는 모두 또는 전혀 포함되지 않는 방식으로 작동하여 문제가 발생한다.
• R-TBS 알고리즘은 데이터 도착 속도가 느려질 경우 샘플을 줄여서 언더플로우를 올바르게 처리하여 오래된 항목이 과도하게 대표되지 않도록 한다.