[논문 리뷰] Reconstructing Strings from Substrings: Optimal Randomized and Average-Case Algorithms

Kazuo Iwama, Junichi Teruyama|arXiv (Cornell University)|2018. 08. 02.

Algorithms and Data Compression참고 문헌 9인용 수 4

한 줄 요약

이 논문은 길이가 알려진 이진 문자열을 부분문자열 쿼리로부터 복원하기 위한 두 가지 최적 알고리즘을 제시한다: 고확률적으로 n + O(1) 쿼리를 달성하는 랜덤화 알고리즘과 동일한 쿼리 복잡도를 가지는 평균 케이스 결정론적 알고리즘. 양자 모두 이전 연구에서 오랫동안 존재했던 O(log n) 격차를 극복하기 위해 부분문자열 발생의 확률적 성질과 적응형 시드 확장 전략을 활용하여, 상수항을 제외한 최적성을 달성한다.

ABSTRACT

The problem called "String reconstruction from substrings" is a mathematical model of sequencing by hybridization that plays an important role in DNA sequencing. In this problem, we are given a blackbox oracle holding an unknown string ${\mathcal X}$ and are required to obtain (reconstruct) ${\mathcal X}$ through "substring queries" $Q(S)$. $Q(S)$ is given to the oracle with a string $S$ and the answer of the oracle is Yes if ${\mathcal X}$ includes $S$ as a substring and No otherwise. Our goal is to minimize the number of queries for the reconstruction. In this paper, we deal with only binary strings for ${\mathcal X}$ whose length $n$ is given in advance by using a sequence of good $S$'s. In 1995, Skiena and Sundaram first studied this problem and obtained an algorithm whose query complexity is $n+O(\log n)$. Its information theoretic lower bound is $n$, and they posed an obvious open question; if we can remove the $O(\log n)$ additive term. No progress has been made until now. This paper gives two partially positive answers to this open question. One is a randomized algorithm whose query complexity is $n+O(1)$ with high probability and the other is an average-case algorithm also having a query complexity of $n+O(1)$ on average. The $n$ lower bound is still true for both cases, and hence they are optimal up to an additive constant.

연구 동기 및 목표

• 부분문자열 쿼리로부터의 문자열 복원에 있어서 O(log n)의 쿼리 복잡도 격차를 해소하기 위해.
• 고확률적으로 n + O(1) 쿼리 수를 달성하는 랜덤화 알고리즘을 개발하기 위해.
• n + O(1) 쿼리 복잡도를 가지는 평균 케이스 결정론적 알고리즘을 설계하기 위해.
• 정보 이론적 하한선인 n 쿼리와 일치함으로써, 두 알고리즘의 최적성을 상수항을 제외하고 증명하기 위해.
• 랜덤 이진 문자열에서 부분문자열 빈도의 확률적 성질을 활용하여 쿼리 오버헤드를 줄이기 위해.

제안 방법

• 길이 ≈ log n 인 부분문자열을 랜덤 샘플링하여, 고확률적으로 부분문자열과 비부분문자열을 식별하는 전략을 사용한다.
• 두 번째 시드를 찾기 위해 가장 긴 0의 연속(첫 번째 시드)을 먼저 식별하고, 더 긴 두 번째 시드를 통해 쿼리 오버헤드를 줄이는 '더블 시드' 기법을 활용한다.
• 확률적 샘플링과 적응형 쿼리 선택을 사용하여 양방향으로 부분문자열을 확장하는 'TwoExtension' 절차를 적용한다.
• Chernoff 부등식을 사용하여 실패 확률을 제한하는 북킹 시스템을 도입하여, 모든 알고리즘 단계에서 고확률적 정확성을 보장한다.
• Skiena-Sundaram(SkSu) 알고리즘을 변형하여, 가장 긴 0-연속에 대한 이진 탐색을 랜덤화된 시드 찾기 메커니즘으로 대체한다.
• 하이브리드 접근 방식을 사용하여, 랜덤화 단계에서 실패할 경우 오류가 제한된 결정론적 예외 경로로 전환함으로써 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 문자열 복원의 쿼리 복잡도에서 O(log n)의 덧셈 항을 제거할 수 있는가?
• RQ2 고확률적으로 n + O(1) 쿼리 수를 달성하는 랜덤화 알고리즘이 존재하는가?
• RQ3 결정론적 평균 케이스 알고리즘이 n + O(1) 쿼리 복잡도를 달성할 수 있는가?
• RQ4 랜덤 이진 문자열에서 부분문자열 빈도의 확률적 성질을 어떻게 활용하여 쿼리 수를 줄일 수 있는가?
• RQ5 비랜덤 문자열에 대해서도 안정적으로 작동하면서 근사 최적의 쿼리 복잡도를 유지할 수 있는가?

주요 결과

• 랜덤화 알고리즘은 실패 확률이 최대 δ일 때, 구체적으로 n + 213 logₑ(3/δ) + 1 쿼리로 n + O(1) 쿼리 복잡도를 달성한다.
• 평균 케이스 결정론적 알고리즘은 평균적으로 최대 n + 6 쿼리를 소비하여 n + O(1) 성능을 달성한다.
• 양자 알고리즘은 상수항을 제외한 최적성을 확보하며, 정보 이론적 하한선인 n 쿼리와 일치한다.
• 랜덤화 알고리즘의 실패 확률은 δ 이하로 제한되며, 희망하는 신뢰 수준에 따라 달라지는 상수항 213 logₑ(3/δ)를 포함한다.
• 더블 시드와 확률적 샘플링의 사용으로, SkSu 방법 대비 최대 log n 쿼리 수를 절감할 수 있다.
• 북킹 및 실패 확률 분석은 모두 Chernoff 부등식에 기반하여, 알고리즘의 모든 단계에서 고확률 정확성을 보장한다.