[論文レビュー] Improving Text Normalization by Optimizing Nearest Neighbor Matching

Salman Ahmad Ansari, Usman Zafar+1 more|arXiv (Cornell University)|Dec 27, 2017

Natural Language Processing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、文脈的、音声的、文字列類似性を学習可能な重みとしきい値を用いて組み合わせた最適化された最近傍マッチング手法を提案し、小さなラベル付きデータセット上でグリッドサーチによるチューニングを行うことで、テキスト正規化のためのアプローチを提示する。この手法は、ハンデータセットで89.7%、ヤンデータセットで76.0%の最先端のFスコアを達成し、最小限の学習データでさえも先行研究を上回る性能を示した。

ABSTRACT

Text normalization is an essential task in the processing and analysis of social media that is dominated with informal writing. It aims to map informal words to their intended standard forms. Previously proposed text normalization approaches typically require manual selection of parameters for improved performance. In this paper, we present an automatic optimizationbased nearest neighbor matching approach for text normalization. This approach is motivated by the observation that text normalization is essentially a matching problem and nearest neighbor matching with an adaptive similarity function is the most direct procedure for it. Our similarity function incorporates weighted contributions of contextual, string, and phonetic similarity, and the nearest neighbor matching involves a minimum similarity threshold. These four parameters are tuned efficiently using grid search. We evaluate the performance of our approach on two benchmark datasets. The results demonstrate that parameter tuning on small sized labeled datasets produce state-of-the-art text normalization performances. Thus, this approach allows practically easy construction of evolving domain-specific normalization lexicons

研究の動機と目的

• 非公式なソーシャルメディアのテキストにおけるテキスト正規化の課題に対処すること。ここでは、未知語（OOV）語が標準的な語彙内語（IV）形式にマッピングされる必要がある。
• 固定または不適切にチューニングされた類似度測定に依存する従来の候補生成・フィルタリング手法の限界を克服すること。
• 学習可能な類似度関数を用いて、OOV語を最も関連性の高いIV語候補に直接マッチングさせることで、正規化の正確性を向上させること。
• 小さなラベル付きデータセット上で効果的なパrameterチューニングが、テキスト正規化において最先端の性能を達成できることを示すこと。

提案手法

• 本手法は、文脈的、音声的、文字列類似性を組み合わせた重み付き類似度関数を用い、学習可能な重み $ w_c, w_p, w_s $ と最小類似度しきい値 $ t $ を有する。
• 各OOV語は、類似度スコアがしきい値 $ t $ を超える範囲で、全体の類似度スコアに基づいて $ K=1 $ 個の最も近いIVネIGHBORSにマッチングされる。
• 類似度関数は $ S(o,i) = w_c S_c(o,i) + w_p S_p(o,i) + w_s S_s(o,i) $ として定義され、文脈的、音声的、文字列ベースの類似度測定を統合する。
• パrameterチューニングは、$ w_c, w_p, w_s \in [0,1] $ および $ t \in [0.1,0.9] $ のグリッドサーチを用い、Fスコアを最大化するようにラベル付きバリデーションセット上で実施される。
• 本手法は、OOV語をIV語に直接マッチングすることで、階層的な候補生成を回避し、精度を向上させるとともに、計算複雑性を低減する。
• 文脈的類似度は、大規模なTwitterコーパスで学習された単語埋め込みから得られ、音声的および文字列類似度は標準的手法（例：Levenshtein距離、SoundEx）を用いる。

実験結果

リサーチクエスチョン

• RQ1 直接的な最近傍マッチング戦略は、従来の候補生成・フィルタリングパイプラインを上回る性能を示せるか？
• RQ2 文脈的、音声的、文字列類似度の相対的寄与度は、異なるテキスト正規化タスクやデータセットにおいてどのように変化するか？
• RQ3 固定またはヒューリスティックなパrameter設定と比較して、小さなラベル付きデータセット上でパrameterチューニングを実施することで、正規化性能はどの程度向上するか？
• RQ4 類似度関数の重みとマッチングしきい値の最適化は、ベンチマークテキスト正規化データセットで最先端の性能を達成するか？

主な発見

• 提案手法はハンデータセットで89.7%の最先端のFスコアを達成し、前回の最高値82.3%を上回った。
• ヤンデータセットでは76.0%のFスコアを達成し、前回の最高値73%を上回った。
• 20%のデータでのチューニングでさえも、ハンデータセットでは87.0%、ヤンデータセットでは75.2%のFスコアを維持した。
• 4つのパrameter（$ w_c, w_p, w_s, t $）のグリッドサーチは10,000回未満の評価で最適設定を効率的に特定でき、計算的に実行可能であることが示された。
• 文脈的類似度（$ w_c $）と文字列類似度（$ w_s $）が主な寄与要因であることが判明したのに対し、音声的類似度（$ w_p $）の寄与は小さいものであった。
• 直接的なOOVからIVへのマッチングは、従来のIVからOOV候補へのフィルタリングよりも高い精度を達成することが示された。特にパrameterが最適化された場合に顕著であった。