[논문 리뷰] Optimal Document Exchange and New Codes for Small Number of Insertions and Deletions.

Bernhard Haeupler|arXiv (Cornell University)|2018. 04. 10.

Algorithms and Data Compression인용 수 13

한 줄 요약

이 논문은 임의의 n비트 파일에 대해 O(k log(n/k))-비트 요약을 계산하는 통신 최적화 문서 교환 프로토콜을 제안한다. 이 요약은 최대 k개의 편집 연산(삽입/삭제)이 발생한 파일로부터 복원 가능하다. 이는 모든 k에 대해 정보 이론적으로 최적의 요약 크기를 달성하며, Orlitsky의 열린 문제를 해결하고, k개의 삽입/삭제에 대해 O(k log²(n/k))의 부족함을 갖는 거의 최적의 오류 수정 코드를 제공한다.

ABSTRACT

This paper gives a communication-optimal document exchange protocol and an efficient near optimal derandomization. This also implies drastically improved error correcting codes for small number of adversarial insertions and deletions. For any $n$ and $k < n$ our randomized hashing scheme takes any $n$-bit file $F$ and computes a $O(k \log \frac{n}{k})$-bit summary from which one can reconstruct $F$ given a related file $F'$ with edit distance $ED(F,F') \leq k$. The size of our summary is information-theoretically order optimal for all values of $k$, positively answering a question of Orlitsky. It also is the first non-trivial solution when a small constant fraction of symbols have been edited, producing an optimal summary of size $O(H(\delta)n)$ for $k=\delta n$. This concludes a long series of better-and-better protocols which produce larger summaries for sub-linear values of $k$. In particular, the recent break-through of [Belazzougi, Zhang; STOC'16] assumes that $k < n^\epsilon$ and produces a summary of size $O(k\log^2 k + k\log n)$. We also give an efficient derandomization with near optimal summary size $O(k \log^2 \frac{n}{k})$ improving, for every $k$, over a deterministic $O(k^2 + k \log^2 n)$ document exchange scheme by Belazzougi. This directly leads to near optimal systematic error correcting codes which efficiently can recover from any $k$ insertions and deletions while having $\Theta(k \log^2 \frac{n}{k})$ bits of redundancy. For the setting of $k=n\epsilon$ this $O(\epsilon \log^2 \frac{1}{\epsilon} \cdot n)$-bit redundancy is near optimal and a quadratic improvement over the binary codes of Guruswami and Li and Haeupler, Shahrasbi and Vitercik which have redundancy $\Theta\left(\sqrt{\epsilon} \log^{O(1)} \frac{1}{\epsilon} \cdot n ight)$.

연구 동기 및 목표

• 최대 k개의 편집 연산이 가능한 파일에 대한 통신 최적화 문서 교환 프로토콜을 설계하기.
• 작은 k에 대해 요약 크기의 정보 이론적 최적성에 대한 Orlitsky의 열린 문제를 해결하기.
• 근사 최적의 요약 크기를 유지하면서 랜덤 해싱 기법의 효율적인 비랜덤화를 개발하기.
• k개의 삽입 및 삭제에 견딜 수 있는 거의 최적의 체계적 오류 수정 코드를 구축하기.
• 이전의 결정적 기법의 부족함 O(k² + k log² n)을 초월하여 O(k log²(n/k))의 부족함을 달성하기.

제안 방법

• n비트 파일 F로부터 O(k log(n/k)) 크기의 요약을 생성하기 위해 랜덤 해싱 기법을 사용한다.
• 랜덤성을 의존하지 않고도 근사 최적의 요약 크기 O(k log²(n/k))를 달성하기 위해 새로운 비랜덤화 기법을 도입한다.
• 편집 거리의 성질과 조합적 해싱의 특성을 활용하여, ED(F, F') ≤ k를 만족하는 임의의 파일 F'로부터의 복원을 보장한다.
• 문서 교환 프로토콜을 활용해 부족함 O(k log²(n/k))를 갖는 체계적 오류 수정 코드를 구축한다.
• 편집 거리의 구조와 정보 이론적 한계를 이용하여 요약 크기의 최적성을 증명한다.
• 작은 일정 분율의 편집(예: k = δn)을 다룰 수 있는 새로운 프레임워크를 도입하며, 요약 크기는 O(H(δ)n)이다.

실험 결과

연구 질문

• RQ1 모든 k 값(선형 또는 상수 분율 포함)에 대해 정보 이론적으로 최적의 요약 크기를 갖는 문서 교환 프로토콜가 존재하는가?
• RQ2 근사 최적의 요약 크기를 유지하면서 랜덤 해싱 기법의 비랜덤화가 가능한가?
• RQ3 문서 교환 프로토콜을 활용해 삽입 및 삭제에 견딜 수 있는 거의 최적의 오류 수정 코드를 구축할 수 있는가?
• RQ4 k = δn일 경우, 유도된 코드의 부족함은 이전의 결정적 구축 방식과 비교해 어떻게 되는가?
• RQ5 k개의 삽입 및 삭제를 수정하기 위해 필요한 최소한의 부족함은 무엇이며, 이를 효율적으로 달성할 수 있는가?

주요 결과

• 제안된 프로토콜은 모든 k < n에 대해 정보 이론적으로 최적의 O(k log(n/k))-비트 요약 크기를 달성한다.
• k = δn 이며 δ가 상수일 경우 요약 크기는 O(H(δ)n)이며, 이는 정보 이론적 하한선과 정확히 일치한다.
• 비랜덤화된 기법은 요약 크기 O(k log²(n/k))를 달성하여 이전의 결정적 기법인 O(k² + k log² n)보다 향상되었다.
• 유도된 오류 수정 코드는 O(k log²(n/k))의 부족함을 가지며, k = δn일 경우 거의 최적의 성능을 보이며, 이전의 이진 코드 대비 제곱 수준의 개선을 이룬다.
• 프로토콜은 작은 편집 거리에 대해 요약 크기의 최적성에 대한 Orlitsky의 열린 문제를 해결한다.
• 이 기법은 최초로 상수 분율의 편집(k = δn)에 대해 최적의 요약 크기를 갖는 비트리버스한 해법을 제공한다.