[論文レビュー] A Latent Source Model for Nonparametric Time Series Classification

George H. Chen, Stanislav Nikolov+1 more|arXiv (Cornell University)|Feb 14, 2013

Time Series Analysis and Forecasting参考文献 20被引用数 46

ひとこと要約

本稿では、時系列が少数の隠れ型の代表的ソースから生成されるという潜在的ソースモデルを提案する。非漸近的誤差バウンドを通じて、最近傍法および重み付き多数決投票分類器の妥当性を裏付け、限られた時系列観測量でも高い精度を達成できることを示し、95%の再現率と4%の偽陽性率を達成しつつ、79%の早期検出が可能であることを実証した。

ABSTRACT

For classifying time series, a nearest-neighbor approach is widely used in practice with performance often competitive with or better than more elaborate methods such as neural networks, decision trees, and support vector machines. We develop theoretical justification for the effectiveness of nearest-neighbor-like classification of time series. Our guiding hypothesis is that in many applications, such as forecasting which topics will become trends on Twitter, there aren't actually that many prototypical time series to begin with, relative to the number of time series we have access to, e.g., topics become trends on Twitter only in a few distinct manners whereas we can collect massive amounts of Twitter data. To operationalize this hypothesis, we propose a latent source model for time series, which naturally leads to a "weighted majority voting" classification rule that can be approximated by a nearest-neighbor classifier. We establish nonasymptotic performance guarantees of both weighted majority voting and nearest-neighbor classification under our model accounting for how much of the time series we observe and the model complexity. Experimental results on synthetic data show weighted majority voting achieving the same misclassification rate as nearest-neighbor classification while observing less of the time series. We then use weighted majority to forecast which news topics on Twitter become trends, where we are able to detect such "trending topics" in advance of Twitter 79% of the time, with a mean early advantage of 1 hour and 26 minutes, a true positive rate of 95%, and a false positive rate of 4%.

研究の動機と目的

• 時系列分類における最近傍法に類する分類器の優れた経験的性能を理論的に裏付けること。
• 時系列が少数の潜在的代表的ソースから生じるとモデル化することで、トレンド予測などの実世界の制約を反映すること。
• 学習データのサイズと観測された時系列の量の両方を考慮した、分類の非漸近的性能保証を確立すること。
• 重み付き多数決投票および最近傍法分類が、Twitterにおけるトレンドトピックの予測に効果的であることを実証すること。

提案手法

• 各時系列がm個の未知の潜在的ソースのいずれかから生成されるという潜在的ソースモデルを提案。各ソースには二値ラベル（例：トレンドまたは非トレンド）が付与される。
• 重み付き多数決投票を近似する最大後確率（MAP）分類器を導出。ここで各訓練時系列は、テスト時系列との類似度に応じた重みで投票を行う。
• テスト時系列を全訓練時系列と比較するスライディングウィンドウ（サイズT）を用いて、重み付き多数決投票を最近傍法分類器に近似する。
• トピックの拡散ダイナミクスを捉えるために、生のTwitter活動データを平滑化および対数変換して時系列特徴を構築する。
• 観測された時系列を、固定の閾値Δ_maxを用いて、訓練時系列の全Tサイズのセグメントと比較する意思決定ルールを適用する。
• トレンドの場合はトレンド発生時刻を中心にh時間のウィンドウで学習を行う。非トレンドの場合はランダムに抽出されたウィンドウを用いる。

実験結果

リサーチクエスチョン

• RQ1 限られた観測量での時系列に対して、最近傍法に類する分類器が高精度を達成する条件は何か？
• RQ2 少数の代表的時系列を有する潜在的ソースモデルは、非パラメトリック分類器の優れた経験的性能を説明できるか？
• RQ3 観測された時系列データの量が、非パラメトリック時系列分類における誤分類率に与える影響は何か？
• RQ4 重み付き多数決投票または最近傍法分類は、公式なTwitterの発表よりどれだけ前もってトレンドトピックを検出できるか？

主な発見

• 合成実験において、重み付き多数決投票は最近傍法分類と同等の誤分類率を達成しながら、より少ない時系列観測量で実現可能であった。
• 実際のTwitterデータでは、本手法はTwitterの公式リストより79%の確率でトレンドトピックを早期に検出でき、平均して1時間26分の早期検出が達成された。
• 実世界のトレンド予測において、本手法は95%の再現率と4%の偽陽性率を達成した。
• 検出速度、再現率、偽陽性率のトレードオフは、パrameter設定により調整可能であり、中間設定では三つの指標をバランスよく達成できた。
• ROCカーブのエンvelopeから、達成可能な最良の性能は再現率95%、偽陽性率4%であると示され、強いロバストネスを示した。
• ニュース関連のツイートを学習データから除外しても結果は一貫しており、早期検出がわずかに遅延したが、本手法の汎用性が確認された。