[논문 리뷰] Online Pattern Matching for String Edit Distance with Moves

Yoshimasa Takabatake, Yasuo Tabei외 1명|arXiv (Cornell University)|2014. 08. 03.

Algorithms and Data Compression참고 문헌 18인용 수 4

한 줄 요약

이 논문은 스트리밍 텍스트를 실시간으로 처리할 수 있는 온라인 알고리즘인 온라인 에디트 민감도 파싱(OESP)을 제안한다. OESP는 후위 순회 단일도수 순서(POUDS)를 사용해 압축된 파싱 트리 표현을 구축하고, 온라인 L1 거리 계산을 위한 특성 벡터를 유지함으로써, 부분선형 공간과 근사 선형 시간 복잡도를 확보하면서도 EDM(이동을 포함한 에디트 거리)에 대해 O(lg²N)-근사치를 달성한다. 이는 대규모 스트리밍 데이터에서 효율적인 패턴 매칭을 가능하게 한다.

ABSTRACT

Edit distance with moves (EDM) is a string-to-string distance measure that includes substring moves in addition to ordinal editing operations to turn one string to the other. Although optimizing EDM is intractable, it has many applications especially in error detections. Edit sensitive parsing (ESP) is an efficient parsing algorithm that guarantees an upper bound of parsing discrepancies between different appearances of the same substrings in a string. ESP can be used for computing an approximate EDM as the L1 distance between characteristic vectors built by node labels in parsing trees. However, ESP is not applicable to a streaming text data where a whole text is unknown in advance. We present an online ESP (OESP) that enables an online pattern matching for EDM. OESP builds a parse tree for a streaming text and computes the L1 distance between characteristic vectors in an online manner. For the space-efficient computation of EDM, OESP directly encodes the parse tree into a succinct representation by leveraging the idea behind recent results of a dynamic succinct tree. We experimentally test OESP on the ability to compute EDM in an online manner on benchmark datasets, and we show OESP's efficiency.

연구 동기 및 목표

• 전체 문자열을 사전에 알 수 없는 스트리밍 텍스트에서 에디트 거리에 이동을 포함한 경우(EDM)를 계산하는 데 도전하는 것.
• 오프라인 에디트 민감도 파싱(ESP)을 온라인 환경으로 확장하여 웹 마이닝 및 바이오인포매틱스와 같은 애플리케이션에서 실시간 패턴 매칭을 가능하게 하는 것.
• 온라인 스트리밍 환경에서 EDM에 대해 증명 가능하고 유한한 근사 비율을 유지하면서 공간 사용을 최소화하는 것.
• 동적 파싱과 실시간 효율적인 거리 계산을 지원하는 압축된 데이터 구조를 설계하는 것.

제안 방법

• OESP는 오프라인 ESP와 유사한 왼쪽 정렬 파싱 전략을 사용해 스트리밍 텍스트의 파싱 트리를 점진적으로 구축한다.
• 쿼리와 부분문자열 간의 L1 거리를 온라인 방식으로 계산하기 위해 파싱 트리의 노드 레이블 특성 벡터를 유지한다.
• 후위 순회와 단일 인코딩을 사용해 파싱 트리를 압축하기 위해 새로운 압축된 트리 표현인 후위 순회 단일도수 순서(POUDS)를 도입한다.
• 동적 압축된 트리 기법과 온라인 문법 압축을 활용해 공간 효율적이고 점진적인 업데이트를 지원한다.
• 온라인 파싱 과정에서 시간과 공간 효율성을 균형 잡기 위해 매개변수 α를 사용하는 파rameterized 해시 테이블을 사용한다.
• 알고리즘은 실시간으로 부분문자열의 특성 벡터와 쿼리 문자열 간의 L1 거리를 계산하여 온라인 패턴 매칭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전체 텍스트가 사전에 확보되지 않은 온라인 스트리밍 환경에서 에디트 거리에 이동을 포함한 경우(EDM)를 효율적으로 근사할 수 있는가?
• RQ2 동적 파싱을 위한 압축된 데이터 구조를 유지하는 온라인 알고리즘이 EDM에 대해 얻는 근사 비율은 무엇인가?
• RQ3 파싱 트리를 실시간으로 점진적으로 구성하고 압축하여 낮은 공간 오버헤드로 온라인 패턴 매칭을 지원할 수 있는가?
• RQ4 오프라인 ESP에서 사용하는 특성 벡터 접근법을 증명 가능한 경계를 확보하면서 온라인 계산에 적응시킬 수 있는가?

주요 결과

• OESP는 에디트 거리에 이동을 포함한 경우에 대해 O(lg²N)-근사 비율을 달성하며, 이는 정확한 EDM에 대해 증명 가능한 유한한 근사치이다.
• 알고리즘은 입력 크기와 근사 선형 확장성을 보여주는 O(N lgN lg n / (α lg lg n))의 기대 시간 복잡도로 실행된다.
• 공간 복잡도는 O(n(α+1) lg(n+σ) + n lg(αn) + 5n + o(n)) 비트이며, 여기서 n은 문법의 변수 수이므로 텍스트 길이에 대해 부분선형 의존성을 보여준다.
• 200MB의 DNA 및 영문 텍스트 스트림에서의 실험 결과, OESP의 작업 공간은 텍스트 길이에 따라 선형적으로 증가했으며, 딕셔너리와 비트스트링 표현 방식이 해시 테이블보다 현저히 작았다.
• 딕셔너리의 공간 사용은 DNA 데이터에서 115MB, 영문 데이터에서 121MB였으며, 해시 테이블은 각각 368MB와 382MB를 소비하여 공간 효율성을 확인했다.
• 그림 6은 주어진 EDM 임계값 내의 부분문자열 수가 특정 임계값에서 급격히 증가하는 경향을 보이며, OESP가 스트리밍 데이터에서 유사 패턴을 식별하는 데 실용적인 유용성을 지닌다는 것을 시사한다.