[논문 리뷰] Data Structure Lower Bounds for Document Indexing Problems

Peyman Afshani, Jesper Sindahl Nielsen|arXiv (Cornell University)|2016. 01. 01.

Algorithms and Data Compression참고 문헌 43인용 수 6

한 줄 요약

이 논문은 포인터 머신 모델을 사용하여 기본 문서 색인 및 패턴 매칭 문제—예를 들어 두 패턴 쿼리, 금지 패턴 쿼리, 와일드카드 패턴 색인—에 대해 날카롭고 조건이 없는 공간-시간 하한을 확립한다. 조합적 구성과 측도 기반 추론을 활용하여 기존 데이터 구조가 거의 최적임을 증명하며, 보고 쿼리의 경우 S(n)Q(n) = Ω(n²⁻ᵒ⁽¹⁾)이고, 수세기 쿼리의 경우 S(n)Q²(n) = Ω(n²/log⁴n)임을 보이며, 다른 모델이 실패하는 곳에서 포인터 머신 모델이 고품질 하한을 도출하는 데서의 강점을 입증한다.

ABSTRACT

We study data structure problems related to document indexing and pattern matching queries and our main contribution is to show that the pointer machine model of computation can be extremely useful in proving high and unconditional lower bounds that cannot be obtained in any other known model of computation with the current techniques. Often our lower bounds match the known space-query time trade-off curve and in fact for all the problems considered, there is a very good and reasonable match between our lower bounds and the known upper bounds, at least for some choice of input parameters. The problems that we consider are set intersection queries (both the reporting variant and the semi-group counting variant), indexing a set of documents for two-pattern queries, or forbidden-pattern queries, or queries with wild-cards, and indexing an input set of gapped-patterns (or two-patterns) to find those matching a document given at the query time.

연구 동기 및 목표

• 기존 조건부 하한이 부족한 영역에서 문서 색인 및 패턴 매칭 데이터 구조에 대해 강력하고 조건이 없는 하한을 확립하는 것.
• 기존 모델이 실패하는 곳에서 포인터 머신 모델이 알려진 상한과 일치하는 고품질의 날카운 하한을 도출하는 데서의 우월성을 보여주는 것.
• 두 패턴 쿼리, 금지 패턴 쿼리, 와일드카드 패턴 색인과 같은 문제들에 대해 알려진 상한과 이론적 한계 사이의 격차를 메우는 것.
• 보고 및 수세기 변형의 집합 교차 및 패턴 매칭 문제의 복잡도를 통합된 프레임워크 안에서 분석하는 것.
• 선형 공간 데이터 구조의 한계를 탐색하고, 많은 경우에서 선형 초과 공간이 서브선형 쿼리 시간을 위해 필요함을 보여주는 것.

제안 방법

• 랜덤 액세스에 의존하지 않도록 하기 위해 포인터 머신 모델을 사용하여 조건이 없는 하한을 도출한다.
• 패턴을 이산적인 점으로, 문서를 범위로 간주하여 교차 측도를 모델링하는 측도 기반 추론을 적용한다.
• 2P, FP, 2FP 및 SI 문제에 대해 하한을 유도하기 위해 고확률 기반의 랜덤 구성 기법을 사용한다.
• 이전 연구에서 유도된 정리 2를 활용하여 매개변수 t, v 및 g(n)를 통해 공간, 쿼리 시간 및 교차 크기 간의 관계를 규명한다.
• 특정 조합적 성질을 갖는 어려운 입력 인스턴스를 구성한다: 예를 들어 패턴 매칭의 겹침 수가 제한되고 문서 교차가 제어된다.
• 이항 계수의 하한과 점근적 분석을 사용하여 공간-쿼리 시간 트레이드오프에 대해 날카운 Ω(n²⁻ᵒ⁽¹⁾) 및 Ω(n²/log⁴n) 하한을 도출한다.

실험 결과

연구 질문

• RQ1 기존 상한과 일치하는 조건이 없는 하한을 문서 색인 문제에 대해 증명할 수 있는가?
• RQ2 포인터 머신 모델은 3SUM이나 부울 행렬 곱셈과 같은 조건부 모델보다 더 날카럽고 정보가 풍부한 하한을 도출할 수 있는가?
• RQ3 서브선형 쿼리 시간을 지원하기 위해 필요한 최소 공간은 무엇인가?
• RQ4 와일드카드 수 κ에 따라 와일드카드 패턴 색인(WCI)의 복잡도는 어떻게 변화하며, κ에 의존하는 날카운 하한을 증명할 수 있는가?
• RQ5 보고 및 수세기 변형의 패턴 매칭 문제 복잡도 사이에 분리가 존재하는가?

주요 결과

• 2P, FP, 2FP 및 집합 교차(SI) 보고 쿼리의 경우, 포인터 머신 데이터 구조가 쿼리 시간 Q(n) + O(P₁ + P₂ + t)를 갖는 한 S(n)Q(n) = Ω(n²⁻ᵒ⁽¹⁾)를 만족하며, 이는 알려진 구조의 거의 최적성을 입증한다.
• 쿼리 시간이 α > 0 인 경우 O((nt)¹/²⁻α + t) 이면 공간이 Ω(n^(1+6α)/(1+2α)⁻ᵒ⁽¹⁾)여야 하며, 이는 더 빠른 쿼리 시간을 위해 초과선형 공간이 필요함을 보여준다.
• 반군 모델의 수세기 변형의 경우 S(n)Q²(n) = Ω(n²/log⁴n)이며, 이는 수세기가 보고보다 엄밀히 더 쉽다는 것을 시사한다.
• κ개의 와일드카드를 가진 와일드카드 패턴 색인(WCI)의 경우 공간 하한은 Ω(n / κ^Θ(log Q(n)/κ)^(κ−1))이며, 이는 합리적인 가정 하에 알려진 상한과 일치한다.
• 간격이 있는 패턴(GPI)에 대한 하한은 Ω(n^Ω(log₁/²ᵏ n))이며, 이는 조밀하지 않은 패턴일지라도 κ에 따라 공간이 크게 증가함을 보여준다.
• ε > 0 인 경우 O((nt)¹/²⁻ε + t) 시간 내에 2P 쿼리를 처리하는 모든 데이터 구조는 초과선형 공간을 사용해야 하며, 이는 오랫동안 제기된 추측을 확인한다.