[論文レビュー] Sequence Covering Similarity for Symbolic Sequence Comparison

Pierre-François Marteau|arXiv (Cornell University)|Jan 22, 2018

Natural Language Processing Techniques参考文献 3被引用数 3

ひとこと要約

本稿では、参照セットを用いた最適部分列被覆に基づく、記号列のための新しい対比較距離測度である「シーケンス被覆類似度」を導入する。この測度はO(n log n)時間で動作する半距離計（semimetric）であり、Levenshtein距離のO(n²)を上回る性能を示し、類似テキストの抽出において高い類似度スコアを達成する。

ABSTRACT

This paper introduces the sequence covering similarity, that we formally define for evaluating the similarity between a symbolic sequence (string) and a set of symbolic sequences (strings). From this covering similarity we derive a pair-wise distance to compare two symbolic sequences. We show that this covering distance is a semimetric. Few examples are given to show how this string metric in $O(n \cdot log n)$ compares with the Levenshtein's distance that is in $O(n^2)$. A final example presents its application to plagiarism detection.

研究の動機と目的

• 従来のLevenshtein距離などの手法と補完的となる、新しい効率的な記号列類似度測度の開発。
• 参照セット（辞書的再利用可能な部分列の集合）を用いたシーケンス被覆の概念を形式化。
• 被覆類似度から導出される対距離計測度を定義し、半距離計の性質を満たすようにする。
• 実世界のテキスト例を用いた、著作権侵害検出などの応用分野における実用的有効性を示す。
• 後退配列データ構造を活用した最適被覆の計算を効率的に行うアルゴリズムを提供し、スケーラビリティを確保。

提案手法

• 目標シーケンスsを、参照セットSの部分列の最小マルチセットによって完全かつ正しく被覆する被覆を定義。
• 被覆類似度を $ \mathscr{S}(s,S) = \frac{|s| - |c^{*}_{S}(s)| + 1}{|s|} $ として形式化。ここで $ |c^{*}_{S}(s)| $ は最適被覆に含まれる部分列数。
• 類似度測度から対距離を導出：$ d(s_1, s_2) = 1 - \mathscr{S}(s_1, S) $。ただしSはs₂を含む集合。
• 現在の位置から始まるS_sub内の最長部分列を繰り返し選択することで、S-最適被覆を計算するインクリメンタルな貪欲法を実装。
• 後退木または後退配列を活用し、部分列の検索を効率化。これによりO(n log n)の時間計算量を達成。
• 実際のテキストペア（著作権侵害検出など）に対して適用。被覆類似度とLevenshtein距離を比較。

実験結果

リサーチクエスチョン

• RQ1 部分列に基づく被覆アプローチは、従来の編集距離法に比べ、より効率的かつ意味のある類似度測度を提供できるか？
• RQ2 提案された被覆距離は、記号列の空間上で有効な半距離計とみなせるか？
• RQ3 実際のテキストデータにおいて、シーケンス被覆類似度はLevenshtein距離に比べてどの程度優れるか？
• RQ4 著作権侵害検出の場面で、本手法は「持ち上げられた」テキスト断片をどの程度正確に検出できるか？
• RQ5 後退配列のような高度な文字列データ構造を用いることで、本手法は効率的にスケーリング可能か？

主な発見

• シーケンス被覆類似度はO(n log n)の時間計算量を達成し、長大なシーケンスではLevenshtein距離のO(n²)を著しく上回る。
• 被覆距離は正式に半距離計としての性質（非負性、同一視の同一性、対称性）を満たすことが証明された。
• s₃ = [0,0,0,0,1,1,1,1,0,0,0,0,1,1,1,1] の場合、類似度スコアは13/16 = 0.8125であり、s₄は9/16 = 0.5625であった。これは構造的類似性を正しく反映している。
• 著作権侵害検出において、持ち上げられたテキスト断片に対して被覆類似度0.801、距離0.219を達成し、元の資料と強い一致を示した。
• わずかな言い換えが加えられた場合でも、本手法はキーフレーズを最適被覆が捉えるため、テキストの「持ち上げ」を正しく検出できた。
• 最適被覆の非一意性により部分文字列でわずかな差異が生じる可能性があるが、後処理により最小限のオーバーヘッドで解消可能である。