[논문 리뷰] Limitations of Mean-Based Algorithms for Trace Reconstruction at Small Distance

Elena Grigorescu, Madhu Sudan외 1명|arXiv (Cornell University)|2020. 11. 27.

Algorithms and Data Compression참고 문헌 25인용 수 9

한 줄 요약

이 논문은 평균 기반 알고리즘—비록 추적 복원에서 강력한 성능을 보이지만—편집 거리 4인 특정 이진 문자열 쌍을 초당 수천 개 이하의 추적으로 구분하지 못함을 보여준다. 저자들은 평균 기반 알고리즘이 초당 지수적으로 많은 추적을 필요로 하는 명시적이고 구성 가능한 문자열 쌍이 존재함을 증명하며, 이러한 제한성을 수론의 어려운 프루헤-타리-에스코프 문제와 연결지었다.

ABSTRACT

Trace reconstruction considers the task of recovering an unknown string $x \in \{0,1\}^n$ given a number of independent "traces", i.e., subsequences of $x$ obtained by randomly and independently deleting every symbol of $x$ with some probability $p$. The information-theoretic limit of the number of traces needed to recover a string of length $n$ is still unknown. This limit is essentially the same as the number of traces needed to determine, given strings $x$ and $y$ and traces of one of them, which string is the source. The most-studied class of algorithms for the worst-case version of the problem are "mean-based" algorithms. These are a restricted class of distinguishers that only use the mean value of each coordinate on the given samples. In this work we study limitations of mean-based algorithms on strings at small Hamming or edit distance. We show that, on the one hand, distinguishing strings that are nearby in Hamming distance is "easy" for such distinguishers. On the other hand, we show that distinguishing strings that are nearby in edit distance is "hard" for mean-based algorithms. Along the way, we also describe a connection to the famous Prouhet-Tarry-Escott (PTE) problem, which shows a barrier to finding explicit hard-to-distinguish strings: namely such strings would imply explicit short solutions to the PTE problem, a well-known difficult problem in number theory. Furthermore, we show that the converse is also true, thus, finding explicit solutions to the PTE problem is equivalent to the problem of finding explicit strings that are hard-to-distinguish by mean-based algorithms. Our techniques rely on complex analysis arguments that involve careful trigonometric estimates, and algebraic techniques that include applications of Descartes' rule of signs for polynomials over the reals.

연구 동기 및 목표

• 작은 해밍 거리 및 편집 거리에서 추적 복원에 있어 평균 기반 알고리즘의 제한성을 조사하는 것.
• 편집 거리가 가까운(예: 거리 4) 문자열 쌍이 평균 기반 알고리즘에 의해 효율적으로 구분될 수 있는지 여부를 확인하는 것.
• 구분하기 어려운 문자열 쌍의 존재와 수론의 프루헤-타리-에스코프(PTE) 문제 사이의 연결 고리를 설정하는 것.
• 대부분의 평균 기반 알고리즘에 대해 어려운 편집 거리 4의 이진 문자열을 대수적 및 복소해석학 기법을 사용해 명시적으로 구성하는 것.

제안 방법

• 추적 분포와 관련된 생성 함수의 행동을 분석하기 위해 복소해석학과 삼각 함수 추정을 사용하는 것.
• 기대 추적 값의 차이에서 유도된 다항식의 부호 변화 수를 제한하기 위해 데카르트의 부호 법칙을 적용하는 것.
• 삽입 및 삭제를 명시적으로 모델링하기 위해 추적 복원 문제를 블록 구조로 분해하는 것.
• 다항식 계수 분석에서 유도된 구조적 제약 조건을 활용해 편집 거리 4의 명시적 문자열을 구성하는 것.
• 어려운 구분 불가능한 문자열 쌍을 찾는 문제를 짧은 해를 갖는 프루헤-타리-에스코프 문제를 푸는 것으로 환원하는 것.
• 각 비트 위치의 추적에 대한 경험적 기대값에만 의존하는 평균 기반 알고리즘 프레임워크를 사용하는 것.

실험 결과

연구 질문

• RQ1 평균 기반 알고리즘이 편집 거리가 가까운 이진 문자열 쌍을 효율적으로 구분할 수 있는가?
• RQ2 작은 편집 거리(예: 4)에서 평균 기반 알고리즘에 의해 구분하기 어려운 명시적 이진 문자열 구성이 존재하는가?
• RQ3 이러한 어려운 문자열 쌍의 존재와 수론의 프루헤-타리-에스코프 문제 사이의 관계는 무엇인가?
• RQ4 편집 거리 2에서 4로의 전이가 평균 기반 분별자에 대한 표본 복잡도에 날카로운 임계점으로 작용하는가?
• RQ5 다항식의 부호 변화와 복소해석학과 같은 대수적 및 분석적 도구를 통해 평균 기반 알고리즘의 제한성을 특성화할 수 있는가?

주요 결과

• 편집 거리 4인 명시적 이진 문자열 중에서 모든 평균 기반 알고리즘이 이를 구분하기 위해 초다항식적으로 많은 추적을 필요로 하는 경우가 존재한다.
• 편집 거리 4인 문자열을 구분하는 데 필요한 표본 복잡도는 관련 다항식의 부호 변화 수의 제곱근에 대해 지수적일 뿐만 아니라, $\exp(\Omega(n^{1/3}))$ 정도의 하한을 가진다.
• 편집 거리 2인 문자열의 경우 평균 기반 알고리즘이 오직 $n^{O(1)}$ 개의 추적으로도 이를 구분할 수 있어, 편집 거리 2와 4 사이에서 복잡도에 날카로운 전이가 존재함을 시사한다.
• 이러한 어려운 문자열 쌍의 존재는 수론의 잘 알려진 열려 있는 문제인 프루헤-타리-에스코프 문제의 짧은 명시적 해의 존재와 동치이다.
• 생성 함수의 차이에서의 부호 변화 수는 $3d - 1$ 이하로 제한되며, 여기서 $d$는 문자열 분해의 블록 수이므로, $w=1$에서의 영점의 다중도는 $3d$ 이하이다.
• 두 문자열의 기대 추적 벡터 간의 $\ell_1$-거리에 대해 $\frac{q}{e} \left( \frac{q}{n} \right)^{3d}$ 이하의 하한이 존재하며, 이는 $d$가 클 경우 초다항식 표본 복잡도를 암시한다.