[论文解读] Efficient Approximation Algorithms for String Kernel Based Sequence Classification

Muhammad Farhan, Juvaria Tariq+3 more|arXiv (Cornell University)|Dec 12, 2017

Algorithms and Data Compression参考文献 14被引用 5

一句话总结

该论文提出了一种新颖的字符串核基序列分类近似算法，可高效处理大 k 和 m 值——这两个参数对高分类准确率至关重要。通过推导 m-错配邻域交集的闭式解，并利用局部敏感哈希估算固定汉明距离下的 k-mer 对数量，该方法实现了最先进性能，速度提升高达 10 倍，且核近似接近精确，使大规模序列分类在生物、音乐和文本数据中成为可能。

ABSTRACT

Sequence classification algorithms, such as SVM, require a definition of distance (similarity) measure between two sequences. A commonly used notion of similarity is the number of matches between $k$-mers ($k$-length subsequences) in the two sequences. Extending this definition, by considering two $k$-mers to match if their distance is at most $m$, yields better classification performance. This, however, makes the problem computationally much more complex. Known algorithms to compute this similarity have computational complexity that render them applicable only for small values of $k$ and $m$. In this work, we develop novel techniques to efficiently and accurately estimate the pairwise similarity score, which enables us to use much larger values of $k$ and $m$, and get higher predictive accuracy. This opens up a broad avenue of applying this classification approach to audio, images, and text sequences. Our algorithm achieves excellent approximation performance with theoretical guarantees. In the process we solve an open combinatorial problem, which was posed as a major hindrance to the scalability of existing solutions. We give analytical bounds on quality and runtime of our algorithm and report its empirical performance on real world biological and music sequences datasets.

研究动机与目标

• 解决在序列分类中，当 k 和 m 值较大时，精确字符串核计算在计算上不可行的问题。
• 解决计算任意 m 值下 m-错配邻域交集大小的开放性组合难题。
• 开发一种可扩展、高精度的近似方案，用于估算两序列间固定汉明距离下的 k-mer 对数量。
• 在真实数据集（如生物序列、音乐和文本）中，实现使用大 k 和 m 值的高精度序列分类。
• 在实现实际性能提升的同时，为近似质量与运行时间提供理论保证。

提出的方法

• 推导出两个 k-mer 的 m-错配邻域交集大小的闭式表达式，实现与字母表大小和序列长度无关的 O(m³) 预计算。
• 提出一种受局部敏感哈希启发的新颖统计估计技术，以高效计算两序列间固定汉明距离 d 的 k-mer 对数量。
• 将闭式邻域交集大小与估计的 k-mer 对数量相结合，在多项式时间内构建近似核矩阵。
• 采用概率界保证核近似的准确性，并进行理论运行时间分析。
• 使用基于采样的方法，在精确核矩阵的主子矩阵上验证近似质量。
• 在 SVM 训练中使用 B=300 和 σ=0.5，通过三次独立运行的平均结果确保鲁棒性。

实验结果

研究问题

• RQ1 我们能否为任意 m 值推导出两个 k-mer 的 m-错配邻域交集大小的闭式解，从而解决长期存在的组合瓶颈问题？
• RQ2 我们能否设计一种高效的近似方案，以估算两序列间固定汉明距离 d 的 k-mer 对数量，且可扩展至大 k 和 m 值？
• RQ3 所提出的近似方法是否能在将运行时间降低数个数量级的同时，实现与精确核相当的高分类准确率？
• RQ4 该算法能否在生物序列、音乐和文本等多样化序列数据类型中，有效应用于大 k 和 m 值场景？
• RQ5 所提出算法的近似误差和运行时间的理论边界是什么？

主要发现

• 所提算法实现近乎精确的核近似，m=2 时平均绝对误差（MAE）低至 9.0×10⁻⁸，均方根误差（RMSE）为 1.3×10⁻⁶，显著低于理论边界。
• 对于 m>2，三个 50×50 主子矩阵的平均 MAE 低于 1.0×10⁻⁵，RMSE 低于 2.0×10⁻⁴，展现出强大的经验准确性。
• 与精确方法相比，该算法实现高达 10 倍的速度提升，且在 k 值增大时运行时间增长趋于平缓，而精确算法的运行时间呈对数尺度线性增长。
• 在 SCOP 和 Ding-Dubchak 数据集上的分类性能表明，近似核在 k=16、m=2 时，ROC 和准确率与精确核保持在 1–5% 以内。
• 在音乐数据集上，精确核与近似核的误差率保持一致或近乎一致（例如，k=10、m=2 时音乐流派的误差率为 61.30±3.3%），验证了结果的一致性。
• 在具有挑战性的设置下（如 k=12、m=8），该算法在 Ding-Dubchak 数据集上实现 57.83% 的准确率，在 SCOP 数据集上实现 52.08% 的 ROC，达到或超过先前最先进水平。