[論文レビュー] Exploiting New Properties of String Net Frequency for Efficient Computation

Peaker Guo, P. Eades+2 more|arXiv (Cornell University)|Jan 1, 2024

Algorithms and Data Compression被引用数 1

ひとこと要約

本稿では、後継配列、LCP配列、Burrows-Wheeler変換の構成要素、およびカラーリスト範囲問題の解法を用いて、効率的な計算を可能にする、文字列ネット周波数（NF）の新しい特徴付けを導入する。著者らは、単一NF（O(m + σ)時間）およびすべてのNF（O(n)時間）の線形時間アルゴリズムを提示し、ベースラインと比較して最大100倍の高速化を達成した。これにより、NFは大規模テキストにおける顕著な文字列を同定する実用的手段として確立された。

ABSTRACT

Knowing which strings in a massive text are significant -- that is, which strings are common and distinct from other strings -- is valuable for several applications, including text compression and tokenization. Frequency in itself is not helpful for significance, because the commonest strings are the shortest strings. A compelling alternative is net frequency, which has the property that strings with positive net frequency are of maximal length. However, net frequency remains relatively unexplored, and there is no prior art showing how to compute it efficiently. We first introduce a characteristic of net frequency that simplifies the original definition. With this, we study strings with positive net frequency in Fibonacci words. We then use our characteristic and solve two key problems related to net frequency. First, extsc{single-nf}, how to compute the net frequency of a given string of length $m$, in an input text of length $n$ over an alphabet size $σ$. Second, extsc{all-nf}, given length-$n$ input text, how to report every string of positive net frequency. Our methods leverage suffix arrays, components of the Burrows-Wheeler transform, and solution to the coloured range listing problem. We show that, for both problems, our data structure has $O(n)$ construction cost: with this structure, we solve extsc{single-nf} in $O(m + σ)$ time and extsc{all-nf} in $O(n)$ time. Experimentally, we find our method to be around 100 times faster than reasonable baselines for extsc{single-nf}. For extsc{all-nf}, our results show that, even with prior knowledge of the set of strings with positive net frequency, simply confirming that their net frequency is positive takes longer than with our purpose-designed method.

研究の動機と目的

• 長さの長い文脈に依存しない、最大に繰り返される部分文字列を捉えるネット周波数（NF）を活用して、大規模テキストにおける顕著な文字列を同定すること。
• 自然言語処理やゲノム解析における実用的価値が示された一方で、NFの計算に効率的なアルゴリズムが不足している問題に取り組むこと。
• 高度な文字列データ構造を用いて、単一NFおよびすべてのNF問題に対する実用的で線形時間のアルゴリズムを開発すること。
• DNAやニューステキストといった実世界のデータセットを用いて、提案手法の効率性とスケーラビリティを実証的に検証すること。

提案手法

• 元の定義を簡略化し、効率的なアルゴリズム設計を可能にする、ネット周波数の新しい特徴付けを導入すること。
• 後継配列とLCP配列を活用して、部分文字列のネット出現を効率的に特定および検証すること。
• Burrows-Wheeler変換のLFマッピングを用いて、後継配列構造をナビゲートし、範囲クエリをサポートすること。
• カラーリスト範囲問題の解法を適用して、テキスト全体で正のネット周波数を持つ文字列を同定すること。
• 2つのアルゴリズムを設計：アルゴリズム2は効率的なすべてのNF抽出を、アルゴリズム3はすべてのNF報告をそれぞれ実行し、両者ともO(n)時間計算量を達成する。
• キャッシュ効率を最適化し、スタック操作を回避することで、特に大規模データセットにおいて実用的な性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 効率的なアルゴリズム的計算を可能にする、ネット周波数の簡略化された特徴付けを導出可能か？
• RQ2 クエリ長mとアルファベットサイズσを用いて、単一クエリ文字列のネット周波数をO(m + σ)時間で計算可能か？
• RQ3 長さnのテキストに対して、正のネット周波数を持つすべての文字列をO(n)時間で報告可能か？
• RQ4 提案手法は、単一NFおよびすべてのNF計算において、ベースライン手法と実際の性能でどのように比較されるか？
• RQ5 文字列の頻度と長さがクエリ性能に与える影響は何か？また、ハイブリッド戦略が効率性を向上させられるか？

主な発見

• 提案手法による単一NFは、特に低頻度クエリにおいて、妥当なベースラインと比較して最大100倍の高速化を達成した。
• すべてのNF抽出（all-nf-extract）において、アルゴリズム2はアルゴリズム3よりも実際の性能が優れており、L ≥ Nであっても、キャッシュ動作の良さとスタック操作の不在によるものである。
• DNAデータセットでは、入力サイズが最大であるにもかかわらず、正のネット周波数を持つ文字列がはるかに少ないため、本手法が最も高速であった。
• すべてのNF報告（all-nf-report）は、ランダムアクセスのオーバーヘッドのため、すべてのNF抽出よりも遅いが、両者ともO(n)時間で解決された。
• 実験的結果から、候補文字列の事前知識があっても、それらのネット周波数が正であるかを確認するのは、目的に特化したアルゴリズムを用いるよりも遅いことが示された。
• 著者らは、Ω(n) ≤ N ≤ L ≤ O(n log δ)が成り立つことを証明したが、NとLの間のギャップは未解決の問題のまま残っている。