[논문 리뷰] Probabilistic Threshold Indexing for Uncertain Strings

Sharma V. Thankachan, Manish Patil외 2명|arXiv (Cornell University)|2015. 09. 29.

Data Quality and Management참고 문헌 4인용 수 5

한 줄 요약

이 논문은 임의의 확률 임계값 매개변수를 가진 불확실한 문자열에서 효율적인 부분문자열 및 문자열 목록 조회 쿼리에 대한 첫 번째 선형공간 색인 프레임워크를 제시한다. 확률 임계값 색인과 압축된 접미사 배열, 범위 최소값 쿼리 구조를 사용하여 근사 최적의 쿼리 시간을 달성하며, 이론적 성능 및 공간 복잡도 보장을 제공하는 정확한 및 근사 검색을 모두 지원한다.

ABSTRACT

Strings form a fundamental data type in computer systems. String searching has been extensively studied since the inception of computer science. Increasingly many applications have to deal with imprecise strings or strings with fuzzy information in them. String matching becomes a probabilistic event when a string contains uncertainty, i.e. each position of the string can have different probable characters with associated probability of occurrence for each character. Such uncertain strings are prevalent in various applications such as biological sequence data, event monitoring and automatic ECG annotations. We explore the problem of indexing uncertain strings to support efficient string searching. In this paper we consider two basic problems of string searching, namely substring searching and string listing. In substring searching, the task is to find the occurrences of a deterministic string in an uncertain string. We formulate the string listing problem for uncertain strings, where the objective is to output all the strings from a collection of strings, that contain probable occurrence of a deterministic query string. Indexing solution for both these problems are significantly more challenging for uncertain strings than for deterministic strings. Given a construction time probability value $τ$, our indexes can be constructed in linear space and supports queries in near optimal time for arbitrary values of probability threshold parameter greater than $τ$. To the best of our knowledge, this is the first indexing solution for searching in uncertain strings that achieves strong theoretical bound and supports arbitrary values of probability threshold parameter. We also propose an approximate substring search index that can answer substring search queries with an additive error in optimal time. We conduct experiments to evaluate the performance of our indexes.

연구 동기 및 목표

• 각 문자 위치에 관련 확률이 부여된 다수의 가능한 문자를 가진 불확실한 문자열 색인화의 과제를 해결하기 위해.
• 부분문자열 검색 및 불확실한 문자열에서의 문자열 목록 작성이라는 두 가지 기본 문제를 위한 효율적인 색인 솔루션을 설계하기 위해.
• 지수적 증가를 피하기 위해 임의의 확률 임계값 τ를 지원하기 위해.
• 근사 최적의 쿼리 시간과 선형공간 복잡도를 달성하며, 구축 및 쿼리 성능에 대한 이론적 한계를 확보하기 위해.
• 다양한 문자열 길이, 불확실성 수준, 임계값 매개변수에서의 광범위한 실험을 통해 제안된 색인의 실용적 효율성을 평가하기 위해.

제안 방법

• 불확실한 문자열을 문자 수준에서 모델링하며, 각 위치에 관련 확률이 부여된 문자 집합을 가진다.
• 가능한 세계 의미론을 사용하여 유효한 매칭을 정의하며, 이는 임계값 τ를 초과하는 공동 확률을 가진 결정론적 문자열로 정의된다.
• 임계값 τ_min을 사용하여 불확실한 문자열에서 유도된 확장된 최대 요소의 연결된 문자열에 압축된 접미사 배열(CSA)을 구축한다.
• 접미사 배열에 범위 최소값 쿼리(RMQ) 구조를 구축하여 부분문자열 매칭을 위한 빠른 범위 쿼리를 가능하게 한다.
• 쿼리당 길이 m에 대해 정확한 부분문자열 검색을 O(m) 시간에 지원하며, 문자열 목록 작성은 근사 최적 시간에 수행된다.
• 쿼리 시간에 애드디티브 오차를 허용하면서도 최적 성능을 유지하는 근사 변종이 도입된다.

실험 결과

연구 질문

• RQ1 임의의 확률 임계값 τ를 가진 불확실한 문자열에 대해 효율적인 부분문자열 검색을 지원하는 색인 구조를 설계할 수 있는가?
• RQ2 임계값 τ를 사용하여 관련 매칭을 손실하지 않으면서 가능한 결정론적 문자열의 수를 줄일 수 있는가?
• RQ3 정확한 및 근사 부분문자열 검색을 모두 지원하는 선형공간 색인을 설계할 수 있는가?
• RQ4 불확실성 수준(θ)과 임계값 τ의 변화가 쿼리 및 구축 시간에 미치는 영향은 무엇인가?
• RQ5 확률 임계값 하에 불확실한 문자열 컬렉션으로부터 문자열 목록을 지원하는 실용적인 색인을 구축할 수 있는가?

주요 결과

• 제안된 색인의 구축 시간은 불확실한 문자열의 길이 n에 비례하며, 공간 복잡도는 O((1/τ_min)^2 * n)로 제한된다.
• 부분문자열 검색의 쿼리 시간은 길이 m인 쿼리에 대해 O(m)이며, 임계값 τ > τ_min에 대해 근사 최적의 성능을 달성한다.
• 색인은 유효한 매칭 수와 쿼리 길이에 비례하는 쿼리 시간으로 불확실한 문자열 컬렉션으로부터 문자열 목록 작성 기능을 지원한다.
• 실험 결과, 구축 시간은 문자열 길이 n에 따라 선형적으로 증가하며, 더 높은 불확실성(θ)으로 인해 약간 증가한다. 이는 더 많은 순열이 존재하기 때문이다.
• 쿼리 시간은 τ가 감소할수록 증가하며, 유효한 매칭 수가 증가하기 때문이다. 이는 더 긴 쿼리 패턴(m)에 가장 민감하다.
• 공간 사용량은 약 10.5 * N 단위이며, 여기서 N = O((1/τ_min)^2 * n)이며, 압축 구조와 보조 배열로 인한 실용적 오버헤드가 포함된다.