[論文レビュー] Generalised Interpretable Shapelets for Irregular Time Series

Patrick Kidger, James Morrill+1 more|arXiv (Cornell University)|May 28, 2020

Time Series Analysis and Forecasting参考文献 27被引用数 6

ひとこと要約

本稿では、解釈可能で不規則にサンプリングされた多次元時系列特徴量のエンドツーエンド微分可能な学習を可能にする、形状素子変換の連続時間一般化を提案する。連続時間における形状素子の定式化と学習可能な擬距離を導入することで、高い性能と解釈可能性を両立し、手書き数字におけるキラリティや音声におけるスペクトルギャップといった構造的パターンの発見を実証した。

ABSTRACT

The shapelet transform is a form of feature extraction for time series, in which a time series is described by its similarity to each of a collection of `shapelets'. However it has previously suffered from a number of limitations, such as being limited to regularly-spaced fully-observed time series, and having to choose between efficient training and interpretability. Here, we extend the method to continuous time, and in doing so handle the general case of irregularly-sampled partially-observed multivariate time series. Furthermore, we show that a simple regularisation penalty may be used to train efficiently without sacrificing interpretability. The continuous-time formulation additionally allows for learning the length of each shapelet (previously a discrete object) in a differentiable manner. Finally, we demonstrate that the measure of similarity between time series may be generalised to a learnt pseudometric. We validate our method by demonstrating its performance and interpretability on several datasets; for example we discover (purely from data) that the digits 5 and 6 may be distinguished by the chirality of their bottom loop, and that a kind of spectral gap exists in spoken audio classification.

研究の動機と目的

• 従来の形状素子変換が定期的サンプリングおよび完全観測に制限されているという限界を克服すること。
• 形状素子の長さと位置を離散的ハイパーパrameter探索を必要とせず、微分可能に最適化できること。
• 単純な正則化ペナルティにより、効率的な学習を維持しながら解釈可能性を保つこと。
• 時系列と形状素子間の類似度測度を、ドメイン適応性を向上させるために学習可能な擬距離に一般化すること。
• キラリティや音声におけるスペクトルギャップといった、意味のあるデータ駆動型パターンの発見を可能にすること。

提案手法

• 不規則にサンプリングされ、部分的に観測された多次元時系列を扱えるように、形状素子変換を連続時間で定式化する。
• 形状素子を時間上の連続関数として表現することで、その長さと時間的位置の微分可能最適化を可能にする。
• データ内の顕著で解釈可能な特徴に類似する形状素子を促進する正則化ペナルティを導入する。
• 古典的なL2乖離を、対角行列Aによる学習可能な擬距離に一般化し、チャネルごとの類似度重み付けを可能にする。
• 音声分類のため、音声のMFC（メル周波数 cepstral）表現を一般化形状素子変換の入力として使用する。
• 形状素子変換をエンドツーエンドバックプロパゲーション可能にすることで、形状素子と下流分類器の共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能性を保ちつつ、不規則にサンプリングされ、部分的に観測された多次元時系列への形状素子学習を一般化できるか？
• RQ2 形状素子の長さを離散的ハイパーパrameterとしてではなく、微分可能に最適化できるか？
• RQ3 単純な正則化戦略が、学習効率を損なわずに解釈可能性を維持できるか？
• RQ4 学習可能な擬距離が性能向上をもたらし、チャネル間の特徴重要度の洞察を提供できるか？
• RQ5 本手法は、実世界の時系列データにおいて、キラリティやスペクトルギャップといった新しい解釈可能なパターンを発見できるか？

主な発見

• 一般化形状素子変換は、Speech Commandsデータセットで91.9% ± 2.4%のテスト精度を達成し、古典的形状素子変換（44.8% ± 8.6%）を著しく上回った。
• PenDigitsデータセットでは、50%の学習データで93.5% ± 1.1%の精度を達成し、小規模データセットでも優れた性能を示した。
• モデルは、数字5と6が下部ループの向き（キラリティ）によって区別可能であることを、データから純粋に発見した。
• 音声分類の文脈では、学習された擬距離がスペクトルギャップを特定し、最初の15個のメル周波数ケプストラル係数に高い重みが割り当てられていることを示した。これは低周波成分の重要性を裏付けた。
• MFC空間で学習された形状素子は、音声に変換すると「eft」や「stop」のような意味のある音声に類似しており、識別的特徴を捉えていることが示された。
• LibrasやLSSTを含む複数のベンチマークで最先端の性能を達成した一方で、正則化と可視化により解釈可能性を維持した。