[論文レビュー] Limitations of Mean-Based Algorithms for Trace Reconstruction at Small Distance

Elena Grigorescu, Madhu Sudan+1 more|arXiv (Cornell University)|Nov 27, 2020

Algorithms and Data Compression参考文献 25被引用数 9

ひとこと要約

この論文は、平均ベースのアルゴリズムが、編集距離4の特定のバイナリ文字列のペアを、超多項式的な数のトレース未満では区別できないことを示している。著者らは、明示的かつ構成可能な文字列が編集距離4に存在し、それらに対して平均ベースのアルゴリズムが指数関数的な数のトレースを必要とする例を証明しており、この制限を数論における困難なプロウヘ・タリー・エスコット問題に関連づけている。

ABSTRACT

Trace reconstruction considers the task of recovering an unknown string $x \in \{0,1\}^n$ given a number of independent "traces", i.e., subsequences of $x$ obtained by randomly and independently deleting every symbol of $x$ with some probability $p$. The information-theoretic limit of the number of traces needed to recover a string of length $n$ is still unknown. This limit is essentially the same as the number of traces needed to determine, given strings $x$ and $y$ and traces of one of them, which string is the source. The most-studied class of algorithms for the worst-case version of the problem are "mean-based" algorithms. These are a restricted class of distinguishers that only use the mean value of each coordinate on the given samples. In this work we study limitations of mean-based algorithms on strings at small Hamming or edit distance. We show that, on the one hand, distinguishing strings that are nearby in Hamming distance is "easy" for such distinguishers. On the other hand, we show that distinguishing strings that are nearby in edit distance is "hard" for mean-based algorithms. Along the way, we also describe a connection to the famous Prouhet-Tarry-Escott (PTE) problem, which shows a barrier to finding explicit hard-to-distinguish strings: namely such strings would imply explicit short solutions to the PTE problem, a well-known difficult problem in number theory. Furthermore, we show that the converse is also true, thus, finding explicit solutions to the PTE problem is equivalent to the problem of finding explicit strings that are hard-to-distinguish by mean-based algorithms. Our techniques rely on complex analysis arguments that involve careful trigonometric estimates, and algebraic techniques that include applications of Descartes' rule of signs for polynomials over the reals.

研究の動機と目的

• 小さなハミング距離および編集距離におけるトレース再構成において、平均ベースのアルゴリズムの限界を調査すること。
• 編集距離が小さい（例：距離4）文字列ペアが、平均ベースのアルゴリズムによって効率的に区別可能かどうかを特定すること。
• 区別が困難な文字列ペアと数論におけるプロウヘ・タリー・エスコット（PTE）問題との間の関係を確立すること。
• 代数的および複素関数解析的手法を用いて、編集距離4のバイナリ文字列を明示的に構成し、平均ベースのアルゴリズムに対して難易度の高い文字列ペアを提供すること。

提案手法

• トレース分布に関連する母関数の挙動を分析するために、複素関数論および三角関数の推定を用いる。
• 期待トレース値の差から得られる多項式の符号変化回数を制限するために、デカルトの符号法則を適用する。
• 挿入および削除を明示的にモデル化するために、トレース再構成問題をブロック構造に分解する。
• 多項式係数解析から得られる構造的制約を活用して、編集距離4の明示的文字列を構成する。
• 区別が困難な文字列ペアの特定問題を、プロウヘ・タリー・エスコット問題の短い解法の解法に還元する。
• 各ビット位置におけるトレースの経験的期待値にのみ依存する平均ベースのアルゴリズムフレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 平均ベースのアルゴリズムは、編集距離が近いバイナリ文字列ペアを、効率的に区別できるか？
• RQ2 編集距離が小さい（例：4）バイナリ文字列ペアのうち、平均ベースのアルゴリズムで区別が困難な明示的構成が存在するか？
• RQ3 このような難易度の高い文字列ペアの存在と、数論におけるプロウヘ・タリー・エスコット問題との関係は何か？
• RQ4 編集距離2から4に移行する段階で、平均ベースの識別器のサンプル複雑度に急激なしきい値が現れるか？
• RQ5 多項式の符号変化や複素関数論などの代数的・解析的ツールを用いて、平均ベースのアルゴリズムの限界を特徴づけられるか？

主な発見

• 編集距離4の明示的バイナリ文字列が存在し、それらを区別するにはあらゆる平均ベースのアルゴリズムが超多項式的な数のトレースを必要とする。
• 編集距離4の文字列を区別するためのサンプル複雑度は、関連する多項式における符号変化回数の平方根に指数的に依存し、下界として $\exp(\Omega(n^{1/3}))$ のトレース数が得られる。
• 編集距離2の文字列では、平均ベースのアルゴリズムが $n^{O(1)}$ 個のトレースで区別可能であるため、編集距離2と4の間で複雑度に急激なしきい値が存在することが示された。
• このような難易度の高い文字列ペアの存在は、数論における有名な未解決問題である短い明示的解を持つプロウヘ・タリー・エスコット問題の存在と同値である。
• 生成関数の差における符号変化回数は $3d - 1$ で抑えられ、$w=1$ における零点の重複度は $3d$ で抑えられる。
• $\ell_1$-距離は $\frac{q}{e} \left( \frac{q}{n} \right)^{3d}$ で下から抑えられ、$d$ が大きい場合には超多項式的なサンプル複雑度を示唆する。