[論文レビュー] Replace or Retrieve Keywords In Documents at Scale

Vikash Singh|arXiv (Cornell University)|Oct 31, 2017

Algorithms and Data Compression参考文献 4被引用数 29

ひとこと要約

この論文では、Trieに基づくデータ構造を用いて、大規模なテキストドキュメントにおけるスケーラブルなキーワード検索および置換を高速に実行する線形時間アルゴリズムであるFlashTextを紹介する。正規表現（regex）とは異なり、キーワード数が増加してもスケーリングが著しく悪化するが、FlashTextはキーワード数に依存せずにO(N)の時間計算量を達成し、1つのドキュメントで15,000個のキーワードを処理する際、正規表現よりも最大82倍の高速化を実現する。

ABSTRACT

In this paper we introduce, the FlashText algorithm for replacing keywords or finding keywords in a given text. FlashText can search or replace keywords in one pass over a document. The time complexity of this algorithm is not dependent on the number of terms being searched or replaced. For a document of size N (characters) and a dictionary of M keywords, the time complexity will be O(N). This algorithm is much faster than Regex, because regex time complexity is O(MxN). It is also different from Aho Corasick Algorithm, as it doesn't match substrings. FlashText is designed to only match complete words (words with boundary characters on both sides). For an input dictionary of {Apple}, this algorithm won't match it to 'I like Pineapple'. This algorithm is also designed to go for the longest match first. For an input dictionary {Machine, Learning, Machine learning} on a string 'I like Machine learning', it will only consider the longest match, which is Machine Learning. We have made python implementation of this algorithm available as open-source on GitHub, released under the permissive MIT License.

研究の動機と目的

• 大規模なキーワード辞書（例：10,000以上の用語）を扱う際の正規表現ベースのキーワード検索および置換における性能ボトルネックを解消すること。
• キーワード数に依存せず、ドキュメントサイズに線形的にスケーリングするソリューションを設計すること。
• 実世界の情報検索ワークロード（例：レジュメ解析、同義語正規化）に適した実用的でオープンソースのツールを提供すること。
• キーワードセットのサイズとドキュメント長を変化させた上で、FlashTextと正規表現の性能をベンチマークし、性能向上を定量的に評価すること。

提案手法

• 入力キーワードからTrie辞書を構築し、各ノードが1文字を表し、語の終端マーカー（eot）が標準化された置換文字列を格納する。
• 完全な単語のみがマッチングされるように、単語境界マーカー（\b）を用いることで、部分一致（例：'Apple'が'Pineapple'にマッチしない）を回避する。
• 入力ドキュメントを1回のスキャンで文字単位に走査し、Trieをたどって完全なキーワードマッチを検出する。
• キーワード検索では、マッチした語とその標準化形式を収集する。置換処理では、マッチした語をその標準化された同等物に置換して出力する。
• 重複や曖昧さを避けるために、最も長いマッチを優先する（例：'Machine Learning'を'machine'や'learning'より優先）。
• Pythonでアルゴリズムを実装し、オープンソース利用を目的としてMITライセンスで公開する。

実験結果

リサーチクエスチョン

• RQ1 1つのドキュメント内で多数のキーワードを検索する際、FlashTextの性能は正規表現と比べてどの程度か？
• RQ2 キーワード数が増加しても、FlashTextは一定時間の実行時間を維持できるか？正規表現とは異なり、キーワード数に比例して性能が低下するのか？
• RQ3 FlashTextは、長さ優先のマッチングと単語境界制約を正しく処理でき、誤検出（例：'Pineapple'に含まれる'Apple'のマッチ）を防げるか？
• RQ4 大規模なドキュメント処理パイプラインにおいて、FlashTextは正規表現に比べて実際の性能でどの程度向上するか？
• RQ5 FlashTextは、情報検索ワークロードにおけるキーワード抽出と置換の両方で効率的に使用できるか？

主な発見

• 10,000語のドキュメントに15,000個のキーワードを検索する際、正規表現の0.165秒からFlashTextでは0.002秒に短縮され、82倍の高速化を達成した。
• FlashTextの時間計算量はO(N)であり、Nはドキュメント長を表す。キーワード数に依存せず、非常にスケーラブルである。
• 正規表現の性能はキーワード数に比例して増加するが、FlashTextはキーワードセットのサイズにかかわらずほぼ一定の実行時間を維持する。
• アルゴリズムは正しく単語境界を処理し、完全な単語のみがマッチングされることを保証しており、'Apple'が'Pineapple'に誤ってマッチするような誤検出は発生しない。
• キーワード置換処理においても、同じベンチマークで正規表現よりも最大82倍の高速化を達成し、キーワードセットの増加に対しても一貫した性能を示した。
• オープンソースのFlashText実装により、レジュメ解析、同義語正規化、データ重複除去などのアプリケーションで効率的かつ生産環境対応のキーワード処理が可能になった。