[논문 리뷰] Sequence Covering Similarity for Symbolic Sequence Comparison

Pierre-François Marteau|arXiv (Cornell University)|2018. 01. 22.

Natural Language Processing Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 기준 집합을 사용한 최적의 부분수열 커버링을 기반으로 하는 기호 시퀀스를 위한 새로운 쌍별 거리 측정법인 시퀀스 커버링 유사도를 소개한다. 이는 O(n log n) 시간에 작동하는 반경량 측정법을 정의하며, 기존 레벤슈타인 거리의 O(n²)보다 뛰어난 성능을 보이며, 유사도 점수가 높은 텍스트 조각을 복제한 경우에 플라그리아즘 감지에 유용함을 보여준다.

ABSTRACT

This paper introduces the sequence covering similarity, that we formally define for evaluating the similarity between a symbolic sequence (string) and a set of symbolic sequences (strings). From this covering similarity we derive a pair-wise distance to compare two symbolic sequences. We show that this covering distance is a semimetric. Few examples are given to show how this string metric in $O(n \cdot log n)$ compares with the Levenshtein's distance that is in $O(n^2)$. A final example presents its application to plagiarism detection.

연구 동기 및 목표

• 기존의 레벤슈타인 거리와 같은 방법들을 보완할 수 있는 새로운 효율적인 기호 시퀀스 유사도 측정법을 개발하는 것.
• 기준 집합으로서의 시퀀스 집합을 사용한 시퀀스 커버링 개념을 체계화하는 것.
• 커버링 유사도에서 유도된 쌍별 거리 측정법을 정의하여 반경량 측정법 성질을 만족시키는 것.
• 실제 텍스트 예제를 사용한 플라그리아즘 감지와 같은 응용 분야에서 실용적 유용성을 입증하는 것.
• 후행 데이터 구조를 활용하여 최적 커버링을 효율적으로 계산하는 알고리즘을 제공하여 확장성 확보

제안 방법

• 기준 집합 S의 부분수열로 이루어진 최소 다중집합을 사용해 목표 시퀀스 s를 완전하고 정확하게 커버하는 시퀀스 커버링을 정의한다.
• 최적 커버링에 포함된 부분수열 수를 $ |c^{*}_{S}(s)| $ 라 할 때, 시퀀스 커버링 유사도를 $ \mathscr{S}(s,S) = \frac{|s| - |c^{*}_{S}(s)| + 1}{|s|} $ 로 정의한다.
• 유사도 측정법에서 유도된 쌍별 거리 측정법: $ d(s_1, s_2) = 1 - \mathscr{S}(s_1, S) $, 여기서 S는 s₂를 포함한 집합이다.
• 현재 위치에서 시작하는 S_sub의 가장 긴 부분수열을 반복적으로 선택함으로써 S-최적 커버링을 계산하는 증분적 근사 알고리즘을 구현한다.
• 후행 트리 또는 후행 배열을 활용하여 부분수열 검색을 효율적으로 수행함으로써 O(n log n) 시간 복잡도를 달성한다.
• 실제 텍스트 쌍에 대해 플라그리아즘 감지와 같은 응용을 위해 커버링 유사도와 레벤슈타인 거리를 비교한다.

실험 결과

연구 질문

• RQ1 부분수열 기반의 커버링 접근법이 기존의 편집 거리 방법보다 더 효율적이고 의미 있는 유사도 측정법을 제공할 수 있는가?
• RQ2 제안된 커버링 거리가 기호 시퀀스 공간에서 유효한 반경량 측정법인가?
• RQ3 실제 텍스트 데이터에서 시퀀스 커버링 유사도가 레벤슈타인 거리와 비교해 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 플라그리아즘 감지 시나리오에서 복제된 문장 조각을 어느 정도 잘 탐지할 수 있는가?
• RQ5 후행 배열과 같은 고급 문자열 데이터 구조를 사용하여 이 방법을 효율적으로 확장할 수 있는가?

주요 결과

• 시퀀스 커버링 유사도는 긴 시퀀스에 대해 레벤슈타인의 O(n²)보다 훨씬 빠른 O(n log n) 시간 복잡도를 달성한다.
• 커버링 거리는 공식적으로 반경량 측정법으로 증명되었으며, 음이 아닌 성질, 동일한 원소의 경우 거리가 0이 되는 성질, 대칭성의 성질을 모두 만족한다.
• 시퀀스 s₃ = [0,0,0,0,1,1,1,1,0,0,0,0,1,1,1,1]의 경우, 유사도 점수는 13/16 = 0.8125이며, s₄는 9/16 = 0.5625로, 구조적 유사성을 정확히 반영한다.
• 플라그리아즘 감지에서 이 방법은 복제된 문장 조각에 대해 커버링 유사도 0.801과 거리 0.219를 기록하여 원본 자료와의 강한 일치를 보였다.
• 단어 배열이 약간 변경된 경우에도 이 방법은 핵심 어휘 조합을 최적 커버링이 포괄함으로써 텍스트 복제를 성공적으로 탐지한다.
• 최적 커버링의 유일성 부재로 인해 일부 부분 문자열에서 미세한 차이가 발생할 수 있으나, 후처리를 통해 이로 인한 영향을 최소화할 수 있다.