[論文レビュー] Kernels for sequentially ordered data

Franz J. Király, Harald Oberhauser|arXiv (Cornell University)|Jan 29, 2016

Time Series Analysis and Forecasting参考文献 32被引用数 7

ひとこと要約

本稿では、順序付きモーメントであるシグネチャ特徴量を用いた、時系列データのためのカーネルフレームワークを提案する。このフレームワークにより、任意の静的カーネルを順序付きデータのためのカーネルに体系的に「順序化」できる。本手法は動的計画法を用いて効率的にカーネルを計算し、手動による特徴工学を必要とせずに最先端の性能を達成するとともに、連続的モーメント形式への理論的収束を示す。

ABSTRACT

We present a novel framework for kernel learning with sequential data of any kind, such as time series, sequences of graphs, or strings. Our approach is based on signature features which can be seen as an ordered variant of sample (cross-)moments; it allows to obtain a "sequentialized" version of any static kernel. The sequential kernels are efficiently computable for discrete sequences and are shown to approximate a continuous moment form in a sampling sense. A number of known kernels for sequences arise as "sequentializations" of suitable static kernels: string kernels may be obtained as a special case, and alignment kernels are closely related up to a modification that resolves their open non-definiteness issue. Our experiments indicate that our signature-based sequential kernel framework may be a promising approach to learning with sequential data, such as time series, that allows to avoid extensive manual pre-processing.

研究の動機と目的

• 多様で高次元的かつ大規模な順序データから学習する際、広範な手動による特徴工学を必要としない課題に対処すること。
• 任意の静的カーネルを順序データのためのカーネルに変換するための標準的かつ理論的根拠に基づいた方法を提供すること。
• 動的計画法と低ランク近似を用いて、スケーラビリティを確保する順序カーネルの効率的計算を可能にすること。
• 順序化の観点から、従来の文字列カーネルやアラインメントカーネルを統一的かつ一般化すること。
• 実験的に、順序化されたカーネルが順序分類タスクにおいて最先端の手法を上回ることを示すこと。

提案手法

• 順序データの標準的かつ順序付きモーメント表現としてのシグネチャ特徴量を提案し、時間的または順序的依存関係を捉える。
• シグネチャ写像のカーネル化としての順序カーネルを定義し、順序データにおけるカーネル法の適用を可能にする。
• 任意の静的カーネル $ k: \mathcal{X} \times \mathcal{X} \to \mathbb{R} $ を、順序データ $ \mathcal{X}^+ $ 上の順序カーネル $ k^+ $ に変換する「カーネル順序化」を導入する。
• 文字列カーネルの計算に類似した動的計画法を用いて、離散的シグネチャおよび順序カーネルを効率的に計算する。
• テンソルを用いた動的計画法により高次順序カーネルを計算し、Nystr\
• 一様サンプリング下で離散的シグネチャが連続的シグネチャ積分に収束することを理論的に示し、全 Variation に基づいた誤差バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 順序付き依存関係を捉え、カーネル学習を可能にする、普遍的かつ標準的な順序データの特徴表現を構築できるか？
• RQ2 既存の任意の静的カーネルを、順序化を通じて順序データのためのカーネルに体系的に変換する方法は何か？
• RQ3 順序カーネルの計算の計算量的複雑度は何か？ そして、大規模な順序データに対して効率的に計算可能か？
• RQ4 従来の文字列カーネルやアラインメントカーネルと比較して、順序化されたカーネルの性能および理論的性質はいかがなものか？
• RQ5 手動による特徴工学を回避しつつ、順序分類タスクで最先端の性能を達成できるか？

主な発見

• シグネチャベースの順序カーネルフレームワークは、サンプリング下で連続的モーメント形式に理論的に収束する普遍的かつ標準的な特徴写像を提供する。
• 動的計画法を用いることで、順序カーネルは効率的に計算可能であり、長大な順序データや大規模データセットへのスケーラビリティを実現する。
• 文字列カーネルやアラインメントカーネルは、提案された順序化フレームワークの特殊ケースまたは密接に関連したケースであることが示され、アラインメントカーネルの非定義性問題は変更を加えることで解決される。
• 手の動きおよびペンデジット分類の実験により、順序化されたカーネルが、広範な事前処理を施さなくても最先端の手法を上回ることを実証した。
• 理論的分析により、離散的シグネチャが最大部分区間変動に比例する誤差バウンドで連続的シグネチャを近似することが証明され、収束速度は $ O(\max_i V(x[t_i,t_{i+1}])) $ である。
• 本フレームワークは高次順序化を可能とし、ブラウン運動ノイズに対してロバストである。2次近似では、ノイズのある観測下でも安定した性能を示す。