[논문 리뷰] Efficient average-case population recovery in the presence of insertions and deletions

Frank Ban, Xi Chen외 2명|arXiv (Cornell University)|2019. 07. 12.

Algorithms and Data Compression인용 수 13

한 줄 요약

이 논문은 삽입과 삭제가 있는 평균 케이스 인구 복원을 위한 효율적인 알고리즘을 제시한다. 이는 이전의 추적 재구성 연구를 확장한 것으로, 지지 크기 s가 exp(Θ(n^{1/3}))까지 가능한 다항 시간 및 샘플 복잡도를 달성한다. 이는 임의의 분포 D를 총 변동 거리 ε 이내로 복원할 수 있으며, 높은 확률로 추적을 사용하여 이루어지며, 최악의 경우에 비해 이중 지수 복잡도와는 대조된다.

ABSTRACT

Several recent works have considered the \emph{trace reconstruction problem}, in which an unknown source string $x\in\{0,1\}^n$ is transmitted through a probabilistic channel which may randomly delete coordinates or insert random bits, resulting in a \emph{trace} of $x$. The goal is to reconstruct the original string~$x$ from independent traces of $x$. While the best algorithms known for worst-case strings use $\exp(O(n^{1/3}))$ traces \cite{DOS17,NazarovPeres17}, highly efficient algorithms are known \cite{PZ17,HPP18} for the \emph{average-case} version, in which $x$ is uniformly random. We consider a generalization of this average-case trace reconstruction problem, which we call \emph{average-case population recovery in the presence of insertions and deletions}. In this problem, there is an unknown distribution $\cal{D}$ over $s$ unknown source strings $x^1,\dots,x^s \in \{0,1\}^n$, and each sample is independently generated by drawing some $x^i$ from $\cal{D}$ and returning an independent trace of $x^i$. Building on \cite{PZ17} and \cite{HPP18}, we give an efficient algorithm for this problem. For any support size $s \leq \smash{\exp(\Theta(n^{1/3}))}$, for a $1-o(1)$ fraction of all $s$-element support sets $\{x^1,\dots,x^s\} \subset \{0,1\}^n$, for every distribution $\cal{D}$ supported on $\{x^1,\dots,x^s\}$, our algorithm efficiently recovers ${\cal D}$ up to total variation distance $\epsilon$ with high probability, given access to independent traces of independent draws from $\cal{D}$. The algorithm runs in time poly$(n,s,1/\epsilon)$ and its sample complexity is poly$(s,1/\epsilon,\exp(\log^{1/3}n)).$ This polynomial dependence on the support size $s$ is in sharp contrast with the \emph{worst-case} version (when $x^1,\dots,x^s$ may be any strings in $\{0,1\}^n$), in which the sample complexity of the most efficient known algorithm \cite{BCFSS19} is doubly exponential in $s$.

연구 동기 및 목표

• 각 샘플이 무작위 삽입 및 삭제를 겪는 추적인, 길이 n인 s개의 이진 문자열에 대한 알려지지 않은 분포를 복원하는 문제에 대응하기 위해.
• 다수의 알려지지 않은 소스 문자열을 포함하는 더 일반적인 인구 복원 설정으로 이전의 효율적인 평균 케이스 추적 재구성 알고리즘을 확장하기 위해.
• 시간과 샘플 복잡도 측면에서 효율적인 복원을 달성하기 위해, 조건부로 지지 크기 s가 n에 따라 증가하더라도, 문자열에 대한 넓은 범위의 분포에 대해.
• 평균 케이스에서는 s에 대해 다항적 의존성이 달성 가능하다는 것을 보여주며, 이는 최악의 경우에서 s에 대해 이중 지수 복잡도를 보이는 것과 대조된다.

제안 방법

• 이전의 평균 케이스 추적 재구성 연구(Perez-Zorin, HPP18)의 기법을 활용하여 삽입 및 삭제가 있는 인구 복원 설정을 다루기 위해.
• 추적에서 부분수열 패턴의 분포를 기반으로 한 통계적 추정을 통해 원래의 소스 문자열 분포 D를 추론하기 위해.
• 다중 샘플에 걸친 추적 통계를 집계하는 다항 시간 알고리즘을 사용하여 총 변동 거리 ε 이내로 분포 D를 추정하기 위해.
• 삽입/삭제 채널 하에서 추적 생성의 농도 한계 및 조합 분석을 적용하여 높은 확률로 정확성을 확보하기 위해.
• 시간 복잡도가 poly(n, s, 1/ε)이고 샘플 복잡도가 poly(s, 1/ε, exp(log^{1/3} n))인 학습 알고리즘을 설계하기 위해.
• 무작위 문자열의 경우, 추적 통계가 충분히 농도가 있으며 구별 가능하므로 효율적인 추론이 가능하다는 사실에 의존하기 위해.

실험 결과

연구 질문

• RQ1 소스 문자열이 무작위이고 지지 크기 s가 n에 대해 지수적일 정도로 작은 경우, 삽입 및 삭제가 있는 상황에서 효율적인 인구 복원이 가능할 수 있는가?
• RQ2 평균 케이스 가정 하에, 삽입 및 삭제가 있는 추적으로부터 s개의 이진 문자열에 대한 분포를 복원하기 위해 필요한 최소 샘플 복잡도는 무엇인가?
• RQ3 평균 케이스 설정에서 시간 및 샘플 복잡도는 s에 대해 어떻게 변화하는가? 최악의 경우 설정과 비교해 볼 때 어떻게 다를까?
• RQ4 소스 문자열이 크기 s ≤ exp(Θ(n^{1/3}))인 무작위 지지 집합에서 추출된 경우, 높은 확률로 다항 시간 알고리즘을 설계할 수 있는가?
• RQ5 삽입/삭제 채널 하에서 무작위 문자열의 어떤 구조적 성질이 효율적인 분포 복원을 가능하게 하는가?

주요 결과

• 알고리즘은 s ≤ exp(Θ(n^{1/3}))일 경우, 높은 확률로 시간 복잡도가 poly(n, s, 1/ε)인 다항 시간 내에 임의의 분포 D를 복원한다.
• 샘플 복잡도는 poly(s, 1/ε, exp(log^{1/3} n))이며, s와 정확도의 역수에 대해 다항적이고, n에 대해 지수적일 정도로 작은 비율이다.
• 무작위 문자열의 s원소 지지 집합의 약 1−o(1) 비율에서, 알고리즘은 높은 확률로 성공한다.
• 독립적인 추적을 사용하여, 독립적으로 선택된 문자열의 추적만으로도 진짜 분포 D와의 총 변동 거리 ε 이내로 복원할 수 있다.
• s에 대한 의존성이 다항적임을 확인하였으며, 이는 최악의 경우에서 s에 대해 이중 지수 복잡도를 보이는 것과 대조된다.
• 결과적으로, 삽입/삭제 채널 하에서 평균 케이스와 최악의 경우 인구 복원 간의 강력한 분리가 입증된다.