[論文レビュー] FASTSUBS: An Efficient Admissible Algorithm for Finding the Most Likely Lexical Substitutes Using a Statistical Language Model

Deniz Yüret|arXiv (Cornell University)|May 24, 2012

Natural Language Processing Techniques被引用数 1

ひとこと要約

FASTSUBS は、n-gram 言語モデルを用いて文における単語の K 個の最も確率の高い語彙的置換語を効率的かつ適切に特定する効率的で適切なアルゴリズムであり、K および語彙サイズ V に対して計算量が部分線形である。最適性を保証しながら計算コストを著しく削減することで、大規模な語彙的置換実験をスケーラブルに可能にする。

ABSTRACT

Lexical substitutes have found use in areas such as paraphrasing, text simplification, machine translation, word sense disambiguation, and part of speech induction. However the computational complexity of accurately identifying the most likely substitutes for a word has made large scale experiments difficult. In this paper I introduce a new search algorithm, FASTSUBS, that is guaranteed to find the K most likely lexical substitutes for a given word in a sentence based on an n-gram language model. The computation is sub-linear in both K and the vocabulary size V. An implementation of the algorithm and a dataset with the top 100 substitutes of each token in the WSJ section of the Penn Treebank are available at this http URL.

研究の動機と目的

• 大規模 NLP 応用における語彙的置換語の特定にかかる高い計算コストに対処すること。
• n-gram 言語モデルに基づき、K 個の最も確率の高い置換語を保証して特定する探索アルゴリズムの開発。
• 語彙的置換の計算複雑度を K および語彙サイズ V に関して線形から部分線形に低減すること。
• 効率的で最適なソリューションを提供することで、並列処理、テキスト簡略化、語の意味の解釈の明確化といった分野における実用的な大規模実験を可能にすること。

提案手法

• アルゴリズムは、文脈におけるターゲット語の潜在的な語彙的置換語をスコアリングするために統計的言語モデル（n-gram）を用いる。
• 全列挙を避けるために、置換語スコアの上界に基づくプルーニングを伴うベストファースト探索戦略を適用する。
• 候補置換語の優先度キューを維持し、推定された尤もらしさに基づいて最も有望なもののみを拡張する。
• 任意の置換語の真のスコアを常に低く見積もらない保守的な上界を用いることで、適切性（admissibility）を保証する。
• 最適性を損なわずに探索空間の大部分を効率的にプルーニングすることで、部分線形時間計算量を達成する。
• 実装および Penn Treebank の WSJ セクションにおける各トークンの上位 100 個の置換語のデータセットが公開されている。

実験結果

リサーチクエスチョン

• RQ1 確率的言語モデルを用いて、最適性を保証する K 個の最も確率の高い語彙的置換語を効率的に特定する探索アルゴリズムを設計可能か？
• RQ2 上位 K 個の置換語を特定する計算複雑度は何か？ そして、K および語彙サイズ V に関して線形未満に低減可能か？
• RQ3 提案されたアルゴリズムは、大規模 NLP タスクにおいてベースライン手法と比較して、効率性および正確性の面でどのように異なるか？
• RQ4 結果の品質を損なわずに、語彙的置換において部分線形複雑度をどの程度達成できるか？

主な発見

• FASTSUBS は、K および語彙サイズ V に関して部分線形な計算時間計算量を達成しており、語彙的置換のコストを顕著に低減している。
• アルゴリズムは適切であるため、最適な候補を逃すことなく、K 個の最も確率の高い置換語を保証して特定する。
• 従来、計算複雑度が高いため実行不可能とされてきた大規模な語彙的置換実験を可能にする。
• Penn Treebank の WSJ セクションにおける各トークンの上位 100 個の語彙的置換語のデータセットが実装と共に公開された。