[論文レビュー] Sequence Graph Transform (SGT): A Feature Extraction Function for Sequence Data Mining.

Chitta Ranjan, Samaneh Ebrahimi+1 more|arXiv (Cornell University)|Aug 11, 2016

Data Mining Algorithms and Applications参考文献 72被引用数 8

ひとこと要約

本論文は、計算コストを増加させることなく、短時間および長時間の依存関係を効率的に捉えることができる、新しい特徴埋め込み関数であるSequence Graph Transform (SGT) を提案する。SGT は、系列クラスタリングおよび分類において、系列カーネルやLSTMといった最先端手法を上回り、計算コストを低く抑えながら高い精度を達成する。

ABSTRACT

Sequence feature embedding is a challenging task due to un-structuredness of sequences -- arbitrary strings of arbitrary length. Existing methods are efficient in extracting short-term dependencies but typically suffer from computation issues for the long-term. Sequence Graph Transform (SGT), a feature embedding function, that can extract varying amount of short- to long-term dependencies without increasing the computation is proposed. SGT's properties are analytically proved for interpretation under normal and uniform distribution assumptions. SGT features yield significantly superior results in sequence clustering and classification with higher accuracy and lower computation as compared to the existing methods, including the state-of-the-art sequence/string Kernels and LSTM.

研究の動機と目的

• 特徴抽出における非構造的で可変長の系列データの課題に対処する。
• 長期間の依存関係を捉える際の従来手法の計算非効率性を克服する。
• 依存関係の長さに関係なく、計算量が低く抑えられる特徴埋め込み関数を開発する。
• 標準分布仮定の下で特徴表現の解析的解釈可能性を保証する。

提案手法

• SGT は、ノードを部分文字列、エッジを共起関係として表すグラフとして系列をモデル化する。
• 再帰的変換を用いて、さまざまな系列長にわたる特徴を集約し、局所的およびグローバルなパターンを保持する。
• 一様分布および正規分布仮定の下で安定性を保証する正規化および変換プロセスを適用する。
• 固定サイズの変換行列を用いて特徴抽出を実行し、系列長に依存しない定数時間計算を可能にする。
• 再帰的計算を必要とせず、グラフ理論的原則を活用して系列内の構造的依存関係を符号化する。
• 最終的な埋め込みは、ノード特徴の重み付き集約により得られ、マルチスケールの依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、特徴埋め込み関数が系列内の長期間の依存関係を効率的に捉えられるか。
• RQ2 SGT の性能は、系列分類およびクラスタリングにおいて、系列カーネルやLSTMといった最先端手法と比べてどうか。
• RQ3 正規分布および一様分布仮定の下で、SGT の解析的性質はいかなるものか。
• RQ4 多様な系列長にわたり、SGT は計算複雑性を低減しつつ高い精度を維持できるか。

主な発見

• SGT は、系列カーネルやLSTMと比較して、系列分類およびクラスタリングにおいて顕著に高い精度を達成する。
• SGT は系列長にかかわらず定数計算コストを維持するが、LSTM などの再帰的モデルとは異なり、計算コストが増加する。
• グラフベースの構造的符号化により、SGT は長期間の依存関係を捉える点で優れた性能を示す。
• 正規分布および一様分布仮定の下での解析的証明により、SGT 特徴の解釈可能性および安定性が確認される。
• SGT は計算オーバーヘッドを低減しつつ精度を向上させるため、大規模な系列データマイニングに適している。
• 実験的結果から、SGT はベンチマーク系列データセットにおいて、精度および効率性の両方の指標で既存手法を上回ることが示された。