[논문 리뷰] Good parts first - a new algorithm for approximate search in lexica and string databases

Stefan Gerdjikov, Stoyan Mihov외 2명|arXiv (Cornell University)|2013. 01. 04.

Algorithms and Data Compression참고 문헌 21인용 수 5

한 줄 요약

이 논문은 어휘집과 문자열 데이터베이스에서 근사 문자열 검색을 위한 새로운 알고리즘을 제안하며, 오류 허용 범위를 점진적으로 늘리면서도 '좋은 부분'(정확한 부분 문자열 일치)을 우선적으로 고려한다. 대칭형 압축된 방향성 비순환 단어 그래프(SCDAWG)를 사용해 양방향 부분 문자열 접근을 가능하게 하여 기존의 왼쪽에서 오른쪽으로의 검색에서 발생하는 '벽 효과'를 피하고, 특히 긴 문자열과 높은 오류 한계에서 빠른 성능 향상을 달성한다. 실험 결과 이론적 최소 성능에 근접한 효율성을 보였다.

ABSTRACT

We present a new efficient method for approximate search in electronic lexica. Given an input string (the pattern) and a similarity threshold, the algorithm retrieves all entries of the lexicon that are sufficiently similar to the pattern. Search is organized in subsearches that always start with an exact partial match where a substring of the input pattern is aligned with a substring of a lexicon word. Afterwards this partial match is extended stepwise to larger substrings. For aligning further parts of the pattern with corresponding parts of lexicon entries, more errors are tolerated at each subsequent step. For supporting this alignment order, which may start at any part of the pattern, the lexicon is represented as a structure that enables immediate access to any substring of a lexicon word and permits the extension of such substrings in both directions. Experimental evaluations of the approximate search procedure are given that show significant efficiency improvements compared to existing techniques. Since the technique can be used for large error bounds it offers interesting possibilities for approximate search in special collections of "long" strings, such as phrases, sentences, or book ti

연구 동기 및 목표

• 기존의 왼쪽에서 오른쪽으로의 정렬 방식에서 발생하는 오류 한계를 고려한 경우, 트라이나 오토마타에서 과도하게 비생산적인 접두사 탐색이 발생하는 '벽 효과'를 해결하기 위해.
• 특히 문장, 문구, 제목과 같은 긴 문자열에서 기존 방법이 너무 느리기 때문에, 대규모 어휘집과 문자열 데이터베이스에서 효율적인 근사 검색을 가능하게 하기 위해.
• 어느 부분 문자열이라도 즉시 접근 가능하고 양방향으로 결정적으로 확장 가능한 어휘 색인 구조를 설계하여, 다양한 정렬 전략을 유연하게 구현할 수 있도록 하기 위해.
• 불필요한 탐색 경로를 최소화하면서도 타당한 일치 결과를 놓치지 않도록 하여 이론적 최소 성능에 근접한 성능을 달성하기 위해.

제안 방법

• 알고리즘은 입력 패턴의 부분 문자열 중 어휘 항목의 부분 문자열과 정확히 일치하는 것—'좋은 부분'—을 대칭형 압축된 방향성 비순환 단어 그래프(SCDAWG)를 사용해 식별한다.
• 각 정확한 일치는 오류 허용 범위가 매 단계에서 증가하는 방식으로 왼쪽과 오른쪽으로 단계적으로 확장되며, 최대 사용자 정의 오류 한계 b까지 허용된다.
• SCDAWG는 양방향으로 부분 문자열을 결정적으로 탐색하고 확장할 수 있게 하며, 전이 비용이 O(1)이고 어휘 단어의 임의의 인포지션에 직접 접근할 수 있다.
• 검색 전략은 정확한 일치가 발생하는 위치에 따라 동적으로 정렬 시작점을 선택하여, 기존 방법이 겪는 포괄적인 접두사 탐색을 피한다.
• 작은 오류 한계에서는 기존의 유니버설 레벤슈타인 오토마타와 같은 필터링 기법과 통합되어 성능을 추가로 향상시킨다.
• 색인 구조는 초기 검색 단계에서 후보 경로의 수를 줄여서 긴 문자열 컬렉션에서의 근사 검색을 효율적으로 지원한다.

실험 결과

연구 질문

• RQ1 정확한 일치에서 시작하는 부분 문자열 기반 검색 전략이 근사 문자열 매칭에서 검색 공간을 크게 줄일 수 있는가?
• RQ2 기존의 왼쪽에서 오른쪽 정렬 방식과 비교해 '좋은 부분 우선' 접근 방식은 속도와 완전성 측면에서 어떻게 성능을 내는가?
• RQ3 SCDAWG와 같은 이중 방향 색인 구조는 근사 문자열 검색에서 '벽 효과'를 어느 정도 완화할 수 있는가?
• RQ4 이 방법은 문장이나 제목과 같은 긴 문자열과 높은 오류 한계에서도 효율적으로 확장 가능한가?
• RQ5 SCDAWG를 사용할 경우 다른 색인 구조(예: 접미사 배열)와 비교해 시간 및 공간 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 기존의 왼쪽에서 오른쪽 검색 및 이전의 양방향 방법보다 빠른 성능 향상을 보였으며, 특히 오류 한계가 높고 긴 문자열일 경우 두드러진다.
• 오류 한계 b=2일 경우 이론적 성능 한계에 매우 가까운 성능을 달성하여 실질적으로 최적에 가까운 효율성을 보였다.
• 특히 오류 한계가 클 경우 BLASTA가 모든 타당한 일치를 검색하지 못할 수 있는 상황에서, Levenshtein 오토마타나 BLASTA와 같은 기존 기법보다 뛰어난 성능을 보였다.
• 실험 결과, 책 제목이나 문장과 같은 긴 문자열 컬렉션에서는 기존 방법이 너무 느리기 때문에 극적인 성능 향상이 나타났다.
• SCDAWG의 사용은 O(1) 전이 비용을 보장하는 효율적인 이중 방향 탐색을 가능하게 하여, 전이 비용이 O(log|Σ|/log log|D| + 1)인 압축된 접미사 배열 기반 구조보다 뛰어난 성능을 보였다.
• 정확한 부분 문자열 일치를 전략적으로 활용함으로써 탐색 경로의 수를 극적으로 줄였지만, 타당한 일치 결과를 놓치지 않는 완전성을 유지했다.