[論文レビュー] Channel masking for multivariate time series shapelets

Dripta S. Raychaudhuri, Josif Grabocka+1 more|arXiv (Cornell University)|Nov 2, 2017

Time Series Analysis and Forecasting参考文献 3被引用数 5

ひとこと要約

本稿では、多次元時系列データの形状子（shapelet）学習におけるノイズの多いチャネルの影響を軽減するためのチャネルマスク手法を提案する。学習可能なマスクを導入することで、ノイズの多いチャネルを抑制し、分類精度を向上させる。エンド・ツー・エンドの学習により、形状子とチャネルマスクを同時に最適化することで、9つの実世界データセットのうち6つで最先端性能を達成し、ベースラインの形状子学習法やSMTSといった既存手法を顕著に上回った。

ABSTRACT

Time series shapelets are discriminative sub-sequences and their similarity to time series can be used for time series classification. Initial shapelet extraction algorithms searched shapelets by complete enumeration of all possible data sub-sequences. Research on shapelets for univariate time series proposed a mechanism called shapelet learning which parameterizes the shapelets and learns them jointly with a prediction model in an optimization procedure. Trivial extension of this method to multivariate time series does not yield very good results due to the presence of noisy channels which lead to overfitting. In this paper we propose a shapelet learning scheme for multivariate time series in which we introduce channel masks to discount noisy channels and serve as an implicit regularization.

研究の動機と目的

• ノイズの多いチャネルによる過学習問題を解消すること。
• 形状子学習の過程で無関係なチャネルを自動的に特定し、重みを低減する手法を開発すること。
• 一変量形状子学習フレームワークを、チャネルマスクによる暗黙の正則化を備えた多次元時系列データに拡張すること。
• 特徴の重要度を反映するチャネル固有の重みを学習することで、分類精度を向上させること。

提案手法

• 各形状子 $k$ とチャネル $v$ に対して、距離計算における各チャネルの寄与度をスケーリングするための学習可能なチャネルマスク $\mu_{k,v}$ を導入する。
• マスク値が非負で学習可能であり、1を超える値をとることを保証するため、ReLU活性化関数を適用する。これにより、識別能が向上する。
• 微分可能損失関数を用いて形状子とマスクを同時に最適化し、勾配降下法によるエンド・ツー・エンド学習を可能にする。
• スライディング・ウィンドウ法を用いて、各時系列と形状子間の最小距離を計算し、マスクされたチャネル寄与度を組み込む。
• 形状子パラメータにL2正則化を適用するとともに、過学習を防ぐためにマスク重みに対しても別個の正則化項 $\lambda_W$ を導入する。
• 訓練データ上で5分割交差検証を用いたグリッドサーチによりハイパーパrameterチューニングを実施し、$K$（形状子数）、$\lambda_W$、および固定学習率 $\eta=0.1$ を選択する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なチャネルマスクは、ノイズの多いチャネルの影響を低減させることで、多次元時系列形状子学習の性能向上に寄与するか？
• RQ2 標準的な形状子学習法やSMTSといった最先端手法と比較して、チャネルマスクはどのように性能を発揮するか？
• RQ3 活性化関数の選択（シグモイド対比ReLU）が、マスク機構の性能に顕著な影響を与えるか？
• RQ4 提案手法は、無関係なチャネルを自動的に特定・抑制しつつ、有用なチャネルを強化できるか？

主な発見

• マスク重みにReLUを用いることで、シグモイド関数を上回る性能を達成した。これは、より広い動的範囲を確保でき、有用なチャネルとノイズの多いチャネルの区別が明確になるためである。
• 合成データセットでは、マスクが最初の2つの有用なチャネルに高い重みを割り当て、残りの38つのノイズの多いチャネルに低い重みを割り当てることに成功した。
• すべての9つの実世界データセットにおいて、マスク付き形状子手法はベースライン形状子手法よりも誤差率が低く、一貫した性能向上を示した。
• SMTSという最先端手法と比較して、9つのデータセットのうち6つで優れた性能を発揮し、ECG（0.110 vs. 0.182）、LIBRAS（0.111 vs. 0.177）、uWave（0.071 vs. 0.100）で顕著な改善を示した。
• Waferデータセットでは、マスク付き手法が0.014の誤差率を達成し、ベースライン形状子手法（0.019）とSMTS（0.035）を上回った。
• 筆算、動き、ジェスチャー、音声認識の多様な分野にわたり、本手法は高いロバストネスを示し、汎用性が確認された。