[논문 리뷰] Identifying document similarity using a fast estimation of the Levenshtein Distance based on compression and signatures

Peter Coates, Frank Breitinger|arXiv (Cornell University)|2023. 07. 21.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 손실 압축 알고리즘을 사용해 대규모 문서를 서명으로 압축한 후, 이러한 압축된 서명을 기반으로 레벤슈타인 거리(LD)를 신속하게 추정하는 방법을 제안한다. 이 방법은 압축 비율 C에 비례해 최대 C²의 속도 향상을 달성하면서도 높은 정확도를 유지하며, 특히 비유사 문서나 삭제 사항에 대해 뛰어난 성능을 보여 디지털 포렌식 및 표절 탐지 분야에서 실용적인 유사도 검출을 가능하게 한다.

ABSTRACT

Identifying document similarity has many applications, e.g., source code analysis or plagiarism detection. However, identifying similarities is not trivial and can be time complex. For instance, the Levenshtein Distance is a common metric to define the similarity between two documents but has quadratic runtime which makes it impractical for large documents where large starts with a few hundred kilobytes. In this paper, we present a novel concept that allows estimating the Levenshtein Distance: the algorithm first compresses documents to signatures (similar to hash values) using a user-defined compression ratio. Signatures can then be compared against each other (some constrains apply) where the outcome is the estimated Levenshtein Distance. Our evaluation shows promising results in terms of runtime efficiency and accuracy. In addition, we introduce a significance score allowing examiners to set a threshold and identify related documents.

연구 동기 및 목표

• 대규모 문서(예: 100KB 초과)에서 정확한 레벤슈타인 거리(LD) 계산의 이차 시간 복잡도 문제를 해결한다.
• 대규모 데이터에서 정확한 LD가 너무 느려 실용성이 떨어지는 디지털 포렌식 및 표절 탐지 분야에서의 실용적인 유사도 검출을 가능하게 한다.
• 원본 문서에 접근하지 않고도 압축으로 유도된 서명만을 사용해 근사적이지만 정확한 LD 추정을 제공한다.
• 심의자들이 추정된 LD 기반으로 관련 문서를 식별하기 위한 임계값을 설정할 수 있도록 의미 있는 점수를 도입한다.
• 기존의 근사 매칭(AM) 기법보다 더 해석 가능하고 정량적인 유사도 지표를 제공함으로써 이진 또는 히وري스틱 기반 점수보다 향상된 성능을 제공한다.

제안 방법

• 사용자가 정의한 손실 압축 알고리즘(LCA)을 사용해 입력 문서를 압축하여 압축 비율 C로 설정 가능한 압축된 서명으로 변환한다.
• 압축된 다이제스트, 파일 크기, 메타데이터(예: 파일명)를 포함한 '서명'을 생성하여 문서 식별 및 크기 기반 필터링을 가능하게 한다.
• 원본 텍스트 대신 서명에서 레벤슈타인 거리(LD)를 계산함으로써 서명이 원본 텍스트보다 수 개의 주기만큼 짧다는 점을 활용한다.
• 서명에서 계산된 LD를 추정 레벤슈타인 거리(eLD)로 사용하며, 이는 원본 문서에서의 정확한 LD 대비 약 C² 배 빠르게 스케일링된다.
• 특히 삽입 및 삭제에 대해 정확도를 향상시키기 위해 문서 크기가 10배 이내로 유사해야 한다는 제약 조건을 적용한다.
• eLD 기반의 의미 있는 점수를 도입하여 심의자가 관련 문서를 식별하기 위한 임계값을 설정할 수 있도록 하여 포렌식 적용성 향상.

실험 결과

연구 질문

• RQ1 손실 압축 기반 서명 접근법이 대규모 문서에 대해 신속하고 정확한 레벤슈타인 거리 추정을 제공할 수 있는가?
• RQ2 eLD의 추정 정확도는 삽입, 삭제, 치환 등의 다양한 텍스트 수정 유형에서 어떻게 달라지나?
• RQ3 문서 크기 유사도가 eLD 추정의 신뢰성에 미치는 영향은 어느 정도이며, 추가 제약 조건을 통해 이를 완화할 수 있는가?
• RQ4 큰 블록의 동일하거나 유사한 텍스트를 포함하고 있는 문서들 사이에서도 본 방법이 관련 문서를 효과적으로 탐지할 수 있는가?
• RQ5 기존의 근사 매칭 기법과 비교해 본 방법은 디지털 포렌식 응용 분야에서 성능과 정확도 면에서 어떻게 다른가?

주요 결과

• 압축 비율 C에 대해 본 방법은 약 C² 배의 속도 향상을 달성하여 정확한 LD로는 불가능한 수백 배 큰 문서에서도 LD 추정이 가능하다.
• 비유사 문서이면서 크기가 동일한 경우 추정 정확도가 매우 높으며, 삭제 탐지 시에도 진짜 LD 값과의 편차가 최소한으로 유지된다.
• 문서 크기가 유사할 경우(10배 이내) 높은 정확도를 유지함으로써 크기 정규화가 추정 신뢰성 향상에 기여함을 시사한다.
• 의미 있는 점수를 통해 심의자가 관련 문서를 식별하기 위한 임계값을 설정할 수 있어 디지털 포렌식 및 표절 탐지에서 실용적 유용성이 향상된다.
• 정확한 LD 계산이 이차 시간 복잡도로 인해 실용성이 떨어지는 중간 이상의 텍스트, 예를 들어 책이나 장문의 기사에서 본 방법은 특히 효과적이다.
• 향후 작업으로는 바이너리 데이터(예: 컴iles된 프로그램, 영상 등)에서의 성능 평가와 다양한 데이터 유형에 걸쳐 정확도 향상을 위한 δ 계산의 개선이 필요하다.