[論文レビュー] Efficient Approximation Algorithms for String Kernel Based Sequence Classification

Muhammad Farhan, Juvaria Tariq+3 more|arXiv (Cornell University)|Dec 12, 2017

Algorithms and Data Compression参考文献 14被引用数 5

ひとこと要約

本稿では、大規模なkおよびm値における高精度な分類を可能にする、文字列カーネルに基づく系列分類のための新規近似アルゴリズムを提示する。mミスマッチ近傍の交差に対する閉形式解を導出し、局所性に敏感なハッシュ（LSH）を用いて固定ハミング距離におけるk-merペア数を推定することで、10倍の高速化とほぼ正確なカーネル近似を達成し、生物学的データ、音楽、テキストデータにおける大規模な系列分類を現実可能にする。

ABSTRACT

Sequence classification algorithms, such as SVM, require a definition of distance (similarity) measure between two sequences. A commonly used notion of similarity is the number of matches between $k$-mers ($k$-length subsequences) in the two sequences. Extending this definition, by considering two $k$-mers to match if their distance is at most $m$, yields better classification performance. This, however, makes the problem computationally much more complex. Known algorithms to compute this similarity have computational complexity that render them applicable only for small values of $k$ and $m$. In this work, we develop novel techniques to efficiently and accurately estimate the pairwise similarity score, which enables us to use much larger values of $k$ and $m$, and get higher predictive accuracy. This opens up a broad avenue of applying this classification approach to audio, images, and text sequences. Our algorithm achieves excellent approximation performance with theoretical guarantees. In the process we solve an open combinatorial problem, which was posed as a major hindrance to the scalability of existing solutions. We give analytical bounds on quality and runtime of our algorithm and report its empirical performance on real world biological and music sequences datasets.

研究の動機と目的

• 大規模なkおよびm値における系列分類における正確な文字列カーネル計算の計算不能性に対処すること。
• 任意のmに対してmミスマッチ近傍の交差サイズを計算する未解決の組合せ論的問題を解決すること。
• 固定ハミング距離における系列間のk-merペア数を推定するスケーラブルで正確な近似スキームを開発すること。
• 生物学的配列、音楽、テキストなどの実世界のデータセットにおいて、大規模なkおよびm値を用いた高精度な系列分類を可能にすること。
• 近似品質と実行時間に関する理論的保証を提供するとともに、正確な手法に対する実用的性能向上を達成すること。

提案手法

• 2つのk-merのmミスマッチ近傍の交差サイズに対する閉形式表現を導出し、アレッセトリックサイズや系列長に依存しないO(m³)の前処理を可能にする。
• 局所性に敏感なハッシュ（LSH）にインspiredされた新しい統計的推定技術を導入し、2つの系列間で固定ハミング距離dにおけるk-merペア数を効率的に数える。
• 閉形式の近傍交差サイズと推定されたk-merペア数を組み合わせて、多項式時間で近似カーネル行列を構築する。
• 確率的バウンドを用いてカーネル近似の正確性を保証し、理論的実行時間解析を実施する。
• 正確なカーネル行列の主部分行列上で近似品質を検証するために、サンプリングに基づくアプローチを採用する。
• SVMトレーニングにおいてB=300およびσ=0.5を用い、結果の信頼性を高めるために3回の独立実行の平均値を取る。

実験結果

リサーチクエスチョン

• RQ1 任意のmに対して、2つのk-merのmミスマッチ近傍の交差サイズに対する閉形式解を導出可能か。これは長年の組合せ論的ボトルネックを解消する。
• RQ2 大規模なkおよびm値にスケーラブルな近似スキームを設計し、2つの系列間で固定ハミング距離dにおけるk-merペア数を効率的に推定可能か。
• RQ3 提案された近似手法は、正確なカーネルと同等の分類精度を達成しつつ、実行時間を桁違いに短縮可能か。
• RQ4 本アルゴリズムは、生物学的配列、音楽、テキストなど多様な系列データタイプに、大規模なkおよびm値を用いて効果的に適用可能か。
• RQ5 提案されたアルゴリズムの近似誤差と実行時間に関する理論的バウンドは何か。

主な発見

• 提案手法は、m=2の場合、平均絶対誤差（MAE）が9.0×10⁻⁸、均円二乗誤差（RMSE）が1.3×10⁻⁶まで低く抑えられ、理論的バウンドを著しく下回る。
• m>2の場合、3つの50×50主部分行列における平均MAEは1.0×10⁻⁵未満、RMSEは2.0×10⁻⁴未満であり、強力な経験的正確性を示す。
• 正確な手法と比較して最大10倍の高速化を達成し、k値が大きくなると実行時間の増加が緩やかになる一方で、正確な手法は対数スケールで線形に増加する。
• SCOPおよびDing-Dubchakデータセットにおける分類性能評価では、近似カーネルが正確なカーネルと比較してAUCおよび精度が1〜5%以内に保たれ、k=16、m=2の状況でも同様の結果を示した。
• 音楽データセットでは、正確なカーネルと近似カーネルの誤差率が同一またはほぼ同一（例：k=10、m=2における音楽ジャンルの誤差率61.30±3.3%）であり、一貫性が裏付けられた。
• k=12、m=8という困難な設定において、Ding-Dubchakでは57.83%の精度、SCOPでは52.08%のAUCを達成し、既存の最先端手法を同等または上回った。