[논문 리뷰] Edit Distance: Sketching, Streaming and Document Exchange

Djamal Belazzougui, Qin Zhang|arXiv (Cornell University)|2016. 07. 14.

Complexity and Algorithms in Graphs참고 문헌 15인용 수 11

한 줄 요약

이 논문은 편집 거리에 대해 다항수 K log n의 통신 및 공간 복잡도를 가지며, near-linear time 복호화를 달성하는 최초의 효율적인 스케치, 스트리밍, 문서 교환 프로토콜을 제시한다. 특정 영역에서 정보 이론적 하한선과 일치하는 O(K⁸ log⁵n) 비트를 사용하여 정확한 편집 거리 계산과 편집 시퀀스 재구성 가능하도록 하는 새로운 알고리즘을 도입한다. 이 알고리즘은 대각선 분해와 롤링 해시를 기반으로 한다.

ABSTRACT

We show that in the document exchange problem, where Alice holds $x \in \{0,1\}^n$ and Bob holds $y \in \{0,1\}^n$, Alice can send Bob a message of size $O(K(\log^2 K+\log n))$ bits such that Bob can recover $x$ using the message and his input $y$ if the edit distance between $x$ and $y$ is no more than $K$, and output "error" otherwise. Both the encoding and decoding can be done in time $ ilde{O}(n+\mathsf{poly}(K))$. This result significantly improves the previous communication bounds under polynomial encoding/decoding time. We also show that in the referee model, where Alice and Bob hold $x$ and $y$ respectively, they can compute sketches of $x$ and $y$ of sizes $\mathsf{poly}(K \log n)$ bits (the encoding), and send to the referee, who can then compute the edit distance between $x$ and $y$ together with all the edit operations if the edit distance is no more than $K$, and output "error" otherwise (the decoding). To the best of our knowledge, this is the first result for sketching edit distance using $\mathsf{poly}(K \log n)$ bits. Moreover, the encoding phase of our sketching algorithm can be performed by scanning the input string in one pass. Thus our sketching algorithm also implies the first streaming algorithm for computing edit distance and all the edits exactly using $\mathsf{poly}(K \log n)$ bits of space.

연구 동기 및 목표

• 통신, 스케치 크기, 또는 메모리가 제한된 환경에서 편집 거리가 K 이하일 때 편집 거리와 모든 편집 연산을 효율적으로 계산하는 데 도전한다.
• 근사 선형 시간의 인코딩/디코딩을 유지하면서도 통신 비용을 최소화하는 문서 교환 프로토콜을 설계한다.
• 재판사 모델에서 편집 거리와 연산을 정확히 계산할 수 있도록 하는 O(K log n)의 다항식 크기 스케치 알고리즘을 최초로 개발한다.
• O(K log n) 공간과 near-linear 시간을 사용하여 한 번의 스캔으로 편집 거리와 편집 연산을 계산하는 스트리밍 알고리즘을 구축한다.
• 이전 방법의 한계를 극복하여 생물정보학 및 데이터 동기화 응용 분야에서 핵심적인 소수의 거리 영역에서 효율성과 정확성을 동시에 확보한다.

제안 방법

• 공간 효율적으로 편집 거리 계산을 시뮬레이션하기 위해 대각선 기반 동적 프로그래밍 접근법을 사용하여, K+1개의 대각선에 점수와 경계 플래그를 추적한다.
• 스트리밍 및 스케치를 가능하게 하기 위해 롤링 해시 함수와 CGK 임베딩을 적용하여 문자열 블록의 압축된 표현을 유지한다.
• 접두사 트리를 사용하여 대각선 간의 가장 긴 공통 접두사 정보를 유지하여, 대각선 처리 중에 실행 연장의 지침을 제공하기 위해 O(1) 시간 쿼리 가능하게 한다.
• 왼쪽, 오른쪽, 공통 접두사 이웃에서 유도된 후보 확장 지점들을 조합하여 각 대각선에서 도달 가능한 최대 셀을 결정하며, '최대값 선택' 전략을 사용한다.
• 재건 정확성을 확보하기 위해 부가적 인코딩과 오류 수정 기법을 사용하여, Bob이 메시지와 자신의 입력으로 원본 문자열을 재구성할 수 있도록 한다.
• 공통 부분 문자열의 시작 및 끝 위치를 저장하여 전체 편집 연산 시퀀스 재구성을 가능하게 하기 위해 알고리즘을 수정하며, 이는 추가로 O(K²) 공간이 필요하다.

실험 결과

연구 질문

• RQ1 통신 비용이 O(K log n)이면서도 near-linear 시간 복잡도를 유지하는 문서 교환을 달성할 수 있는가?
• RQ2 재판사 모델에서 편집 거리와 연산을 정확히 계산할 수 있도록 하는 O(poly(K log n)) 크기의 스케치를 구성할 수 있는가?
• RQ3 O(K log n) 공간과 near-linear 시간을 사용하여 한 번의 스캔으로 편집 거리와 모든 편집 연산을 계산하는 스트리밍 알고리즘이 가능한가?
• RQ4 편집 거리 스케칭에서 스케치 크기의 최적 다항식 종속성은 K와 log n에 대해 어떻게 되는가?
• RQ5 확률적 스케칭 및 문서 교환 프로토콜을 결정론적 오류 수정 코드로 변환할 수 있는가?

주요 결과

• 문서 교환 프로토콜은 O(K(log²K + log n)) 비트의 통신 비용을 달성하며, log K = O(√log n)일 경우 정보 이론적 하한선 Ω(K log n)과 일치한다.
• 편집 거리에 대해 O(K⁸ log⁵n) 비트를 사용하는 최초의 스케칭 알고리즘을 제안하며, 이는 정확한 계산을 가능하게 하는 다항식 크기의 첫 번째 사례이다.
• 스케칭 알고리즘이 일회 스트리밍 인코딩을 지원하여, O(K⁸ log⁵n) 비트의 공간을 사용하는 최초의 정확한 편집 거리 계산 스트리밍 알고리즘을 실현한다.
• 인코딩 및 디코딩에 대해 Õ(n + poly(K)) 시간 내에 실행되며, 정확성을 유지하면서 near-linear 시간 복잡도를 달성한다.
• 공통 부분 문자열 세그먼트를 추적함으로써 전체 편집 시퀀스 재구성을 지원하며, 재구성 단계에 대해 추가로 O(K²) 공간이 필요하다.
• 소수의 편집 거리에 대해 강건하며, 데이터베이스의 문자열 유사도 조인 등 응용 분야에서 효율적이고 병렬 처리 가능한 사전 처리를 가능하게 한다.