[논문 리뷰] A Latent Source Model for Nonparametric Time Series Classification

George H. Chen, Stanislav Nikolov외 1명|arXiv (Cornell University)|2013. 02. 14.

Time Series Analysis and Forecasting참고 문헌 20인용 수 46

한 줄 요약

이 논문은 비모수적 시계열 분류를 위한 잠재 소스 모델을 제안하며, 시계열은 소수의 숨겨진 대표 소스에서 유래된다. 이 모델은 비점근적 오차 경계를 통해 최근접 이웃 및 가중 다数 투표 분류기의 타당성을 입증하며, 제한된 시계열 관측으로도 높은 정확도를 달성함을 보여주고, 트위터 트렌드 주제의 79%를 조기에 탐지하며, 참 양성률 95%와 거짓 양성률 4%를 기록한다.

ABSTRACT

For classifying time series, a nearest-neighbor approach is widely used in practice with performance often competitive with or better than more elaborate methods such as neural networks, decision trees, and support vector machines. We develop theoretical justification for the effectiveness of nearest-neighbor-like classification of time series. Our guiding hypothesis is that in many applications, such as forecasting which topics will become trends on Twitter, there aren't actually that many prototypical time series to begin with, relative to the number of time series we have access to, e.g., topics become trends on Twitter only in a few distinct manners whereas we can collect massive amounts of Twitter data. To operationalize this hypothesis, we propose a latent source model for time series, which naturally leads to a "weighted majority voting" classification rule that can be approximated by a nearest-neighbor classifier. We establish nonasymptotic performance guarantees of both weighted majority voting and nearest-neighbor classification under our model accounting for how much of the time series we observe and the model complexity. Experimental results on synthetic data show weighted majority voting achieving the same misclassification rate as nearest-neighbor classification while observing less of the time series. We then use weighted majority to forecast which news topics on Twitter become trends, where we are able to detect such "trending topics" in advance of Twitter 79% of the time, with a mean early advantage of 1 hour and 26 minutes, a true positive rate of 95%, and a false positive rate of 4%.

연구 동기 및 목표

• 최근접 이웃 유사 분류기의 강력한 경험적 성능에 대한 이론적 근거를 제공하기 위해.
• 시계열을 소수의 잠재적 대표 소스에서 유래된 것으로 모델링하여, 트렌드 예측과 같은 응용 분야에서의 실제 제약 조건을 반영하기 위해.
• 학습 데이터 크기와 관측된 시계열의 양을 모두 고려한 비점근적 성능 보장을 수립하기 위해.
• 가중 다수결 투표와 최근접 이웃 분류기가 트위터에서의 트렌딩 주제 예측에 얼마나 효과적인지 보여주기 위해.

제안 방법

• 각 시계열이 m개의 알려지지 않은 잠재 소스 중 하나에서 생성되며, 각 소스는 이진 레이블(예: 트렌드 또는 비트렌드)을 가진 잠재 소스 모델을 제안한다.
• 각 학습 시계열이 테스트 시계열과 유사도에 비례하여 투표하는 가중 다수결 투표를 근사하는 최대 사후확률(MAP) 분류기를 유도한다.
• 테스트 시계열을 모든 학습 시계열과 비교하여, 크기 T의 슬라이딩 윈도우 내에서 최근접 이웃 분류기를 근사한다.
• 주제 확산 동역학을 포착하기 위해 원시 트위터 활동에 스무딩 및 로그 변환을 적용하여 시계열 특징을 구성한다.
• 관측된 시계열을 모든 T크기의 학습 시계열 세그먼트와 비교하고, 유사도에 대해 고정된 임계값 Δ_max를 사용하는 의사결정 규칙을 적용한다.
• 트렌드의 경우 트렌드 발생 시점에 중심이 오는 h시간 윈도우로, 비트렌드의 경우 무작위로 샘플링된 윈도우로 학습한다.

실험 결과

연구 질문

• RQ1 제한된 관측으로 인한 시계열에 대해 최근접 이웃 유사 분류기가 높은 분류 정확도를 달성할 수 있는 조건은 무엇인가?
• RQ2 소수의 대표 시계열을 가진 잠재 소스 모델이 비모수적 분류기의 강력한 경험적 성능을 설명할 수 있는가?
• RQ3 관측된 시계열 데이터의 양이 비모수적 시계열 분류에서 오분류율에 어떤 영향을 미치는가?
• RQ4 가중 다수결 투표 또는 최근접 이웃 분류기는 공식 트위터 목록 발표 이전에 트렌딩 주제를 어느 정도 조기에 탐지할 수 있는가?

주요 결과

• 합성 실험에서, 가중 다수결 투표는 최근접 이웃 분류기와 동일한 오분류율을 달성하면서도 더 적은 시계열 관측을 요구했다.
• 실제 트위터 데이터에서는, 메서드가 트위터 공식 목록 발표 이전에 트렌딩 주제를 79%의 비율로 조기에 탐지하였으며, 평균 조기 탐지 시간은 1시간 26분이었다.
• 실세계 트렌드 예측에서 메서드는 참 양성률 95%와 거짓 양성률 4%를 기록했다.
• 탐지 속도, 참 양성률, 거짓 양성률 간의 트레이드오���은 파라미터 설정을 통해 조정 가능하며, 중간 설정은 세 지표를 균형 있게 유지한다.
• ROC 곡선 봉우리 영역은 최고 성능가능성이 참 양성률 95%에서 거짓 양성률 4%일 때 달성되며, 강력한 내구성을 보여준다.
• 뉴스 관련 트윗을 학습 데이터에서 제외한 경우에도 결과는 일관되었으며, 약간의 조기 탐지 지연가 발생했지만, 이는 메서드의 일반화 능력을 확인한다.