[論文レビュー] Optimal Document Exchange and New Codes for Small Number of Insertions and Deletions.

Bernhard Haeupler|arXiv (Cornell University)|Apr 10, 2018

Algorithms and Data Compression被引用数 13

ひとこと要約

この論文は、任意のnビットファイルに対してO(k log(n/k))-ビットの要約を計算する通信最適なドキュメント交換プロトコルを提示している。この要約により、k回の編集操作（挿入/削除）が加えられたファイルからの再構築が可能である。本手法はすべてのkに対して情報理論的に最適な要約サイズを達成し、Orlitskyの未解決問題を解決するとともに、k回の挿入/削除に対してO(k log²(n/k))の冗長性を有する近似的に最適なエラー訂正符号をもたらす。

ABSTRACT

This paper gives a communication-optimal document exchange protocol and an efficient near optimal derandomization. This also implies drastically improved error correcting codes for small number of adversarial insertions and deletions. For any $n$ and $k < n$ our randomized hashing scheme takes any $n$-bit file $F$ and computes a $O(k \log \frac{n}{k})$-bit summary from which one can reconstruct $F$ given a related file $F'$ with edit distance $ED(F,F') \leq k$. The size of our summary is information-theoretically order optimal for all values of $k$, positively answering a question of Orlitsky. It also is the first non-trivial solution when a small constant fraction of symbols have been edited, producing an optimal summary of size $O(H(\delta)n)$ for $k=\delta n$. This concludes a long series of better-and-better protocols which produce larger summaries for sub-linear values of $k$. In particular, the recent break-through of [Belazzougi, Zhang; STOC'16] assumes that $k < n^\epsilon$ and produces a summary of size $O(k\log^2 k + k\log n)$. We also give an efficient derandomization with near optimal summary size $O(k \log^2 \frac{n}{k})$ improving, for every $k$, over a deterministic $O(k^2 + k \log^2 n)$ document exchange scheme by Belazzougi. This directly leads to near optimal systematic error correcting codes which efficiently can recover from any $k$ insertions and deletions while having $\Theta(k \log^2 \frac{n}{k})$ bits of redundancy. For the setting of $k=n\epsilon$ this $O(\epsilon \log^2 \frac{1}{\epsilon} \cdot n)$-bit redundancy is near optimal and a quadratic improvement over the binary codes of Guruswami and Li and Haeupler, Shahrasbi and Vitercik which have redundancy $\Theta\left(\sqrt{\epsilon} \log^{O(1)} \frac{1}{\epsilon} \cdot n ight)$.

研究の動機と目的

• 最大k回の編集操作を伴うファイル用に通信最適なドキュメント交換プロトコルを設計すること。
• 小規模なkにおける要約サイズの情報理論的最適性に関するOrlitskyの未解決問題を解決すること。
• 近似的に最適な要約サイズを維持しつつ、確率的ハッシュ化スキームの効率的な非確率化（derandomization）を構築すること。
• k回の挿入および削除に耐性を持つ近似的に最適なシステム的エラー訂正符号を構築すること。
• 従来の決定的スキーム（冗長性O(k² + k log² n)）を改善し、O(k log²(n/k))の冗長性を達成すること。

提案手法

• nビットのファイルFから、O(k log(n/k))のサイズの要約を生成するために確率的ハッシュ化スキームを用いる。
• ランダムネスに依存せずに近似的に最適な要約サイズO(k log²(n/k))を達成するための新しい非確率化技術を採用する。
• 編集距離と組合せ的ハッシュ化の性質を活用し、ED(F, F') ≤ kを満たす任意のファイルF'からの再構築を保証する。
• ドキュメント交換プロトコルを応用し、冗長性O(k log²(n/k))のシステム的エラー訂正符号を構築する。
• 編集距離の構造と情報理論的境界を用いて、要約サイズの最適性を証明する。
• 小さな定数倍の編集率（k = δn）を扱うための新規フレームワークを導入し、要約サイズO(H(δ)n)を達成する。

実験結果

リサーチクエスチョン

• RQ1 kのすべての値（特にnの部分線形および定数倍の分数）に対して、情報理論的に最適な要約サイズを達成できるドキュメント交換プロトコルは存在するか？
• RQ2 近似的に最適な要約サイズを維持しつつ、確率的ハッシュ化スキームの非確率化は可能か？
• RQ3 ドキュメント交換プロトコルを用いて、挿入および削除に耐性を持つ近似的に最適なエラー訂正符号を構築できるか？
• RQ4 k = δnの場合、得られる符号の冗長性は、従来の決定的構成と比較してどのように異なるか？
• RQ5 k回の挿入および削除を訂正するために必要な最小冗長性は何か？ そして、その最小値は効率的に達成可能か？

主な発見

• 提案されたプロトコルは、すべてのk < nに対してO(k log(n/k))-ビットの要約サイズを達成しており、これは情報理論的に最適である。
• k = δn（定数δ）の場合、要約サイズはO(H(δ)n)となり、情報理論的下界と一致する。
• 非確率化スキームはO(k log²(n/k))の要約サイズを達成し、従来の決定的スキーム（O(k² + k log² n)）を改善している。
• 得られるエラー訂正符号はO(k log²(n/k))の冗長性を有し、k = δnの場合に近似的に最適であり、従来のバイナリ符号と比較して2乗の改善を達成している。
• 本プロトコルは、小規模な編集距離における要約サイズの最適性に関するOrlitskyの未解決問題を解決している。
• 本スキームは、定数倍の編集率（k = δn）に対して、最適な要約サイズを達成する最初の非自明な解決策である。