[論文レビュー] Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization

Thales Felipe Costa Bertaglia, Maria das Graças Volpe Nunes|arXiv (Cornell University)|Apr 10, 2017

Natural Language Processing Techniques被引用数 35

ひとこと要約

本稿では、語彙埋め込みを用いて、ブラジルポルトガセス語のユーザーゲンレーテッドコンテンツ（UGC）を、言語およびドメインに依存しない非教師あり手法で正規化する手法を提案する。ノイズの多いテキストで訓練されたSkip-gramモデルを活用し、語の類似度と拡張ステップを組み合わせることで、綴りの誤りとインターネットスラングの修正において、既存のツール（UGCNormal）を上回る最先端の性能を達成した。パイプライン統合後、綴りの誤りでは92.1%のリCALL、スラングでは77.4%のリCALLを達成した。

ABSTRACT

Text normalization techniques based on rules, lexicons or supervised training requiring large corpora are not scalable nor domain interchangeable, and this makes them unsuitable for normalizing user-generated content (UGC). Current tools available for Brazilian Portuguese make use of such techniques. In this work we propose a technique based on distributed representation of words (or word embeddings). It generates continuous numeric vectors of high-dimensionality to represent words. The vectors explicitly encode many linguistic regularities and patterns, as well as syntactic and semantic word relationships. Words that share semantic similarity are represented by similar vectors. Based on these features, we present a totally unsupervised, expandable and language and domain independent method for learning normalization lexicons from word embeddings. Our approach obtains high correction rate of orthographic errors and internet slang in product reviews, outperforming the current available tools for Brazilian Portuguese.

研究の動機と目的

• ユーザーゲンレーテッドコンテンツ（UGC）に対してスケーラビリティとドメイン適合性に欠けるルールベースおよび語彙依存型テキスト正規化手法の限界を解決すること。
• 大規模なアノテート済みコーパスやドメイン特化ルールを必要としない、非教師ありで拡張可能かつ言語に依存しない正規化語彙の学習手法を開発すること。
• 分散表現が意味的・構文的類似性を捉える能力を活用し、非標準語の同定と修正に有効であるかどうかを検証すること。
• 既存のツールを上回る、ブラジルポルトガセス語のUGCにおける綴りの誤りとインターネットスラングの両方の修正率を向上させること。

提案手法

• ツイッターおよび製品レビューから得た大規模で事前処理済みのUGCデータを用いて、コンテキスト窓を5、語の最小頻度を10として、Skip-gramおよびCBOW語彙埋め込みモデルを訓練する。
• 語彙埋め込み間のコサイン類似度を用いて、非標準語（NSW）の意味的に類似した標準形を同定し、正規化語彙の根幹を形成する。
• 埋め込み類似度に基づく関連語の追加を通じて、希少または未学習の変種のカバー範囲を拡大する拡張ステップを適用する。
• 文脈確率を考慮することで予測を精緻化する言語モデル（LM）を統合し、修正の正確性を向上させる。
• ノイズあり、クリーン、アンサンブルの3種類の埋め込みモデルを統合し、ノイズタイプに応じた強みを活かす（例：ノイズありはスラングに適している）。
• 異なるモデルの出力を統合するマックスベースのファージョン戦略を採用し、耐性およびリCALLを向上させる。

実験結果

リサーチクエスチョン

• RQ1 非教師ありでノイズの多いUGCテキストから学習した語彙埋め込みが、正規化に必要な意味的・構文的関係を効果的に捉えられるか。
• RQ2 異なる語彙埋め込みアーキテクチャ（Skip-gram対CBOW）およびハイパーパrameter（次元数、学習データ）の性能が正規化精度に与える影響は。
• RQ3 埋め込み類似度に基づく拡張ステップが、非標準語のカバー範囲と修正率にどの程度向上効果をもたらすか。
• RQ4 言語モデルの統合により、埋め込み類似度のみに依存する手法を上回る正規化性能が達成できるか。
• RQ5 本手法は、UGCNormalなどの既存ツールと比較して、ブラジルポルトガセス語のUGCにおける綴りの誤りとインターネットスラングの両方の修正において、どの程度優れているか。

主な発見

• ノイズありデータで訓練された500次元のSkip-gramモデル（Noisy）は、拡張と言語モデル統合を経て、スラングの修正で77.4%のリCALLを達成し、最高の性能を示した。
• ノイズありとクリーン埋め込みを統合したアンサンブルモデルは、綴りの誤りで83.5%、スラングで71.0%のリCALLを達成し、UGCNormal（83.5%および61.3%）を上回った。
• 拡張ステップの追加により、綴りの誤りのリCALLは83.5%から90.9%に、スラングのリCALLは71.0%から77.4%に上昇し、顕著な改善が確認された。
• 最終パイプライン（拡張と言語モデル統合）では、綴りの誤りで92.1%、スラングで77.4%のリCALLを達成し、UGCNormalを大きく上回った。特に希少語誤り（RWEs）の処理において顕著な優位性を示した。
• クリーンモデル（特殊文字を除去）は綴りの誤りで82.3%（Noisyモデルは78.6%）を達成し、優れた性能を示した一方、Noisyモデルはスラングで64.5%（クリーンモデルは54.8%）を記録し、モデル特化の必要性を裏付けた。
• 拡張と言語モデル統合により、RWEsのリCALLは73.0%に上昇したのに対し、UGCNormalは33.9%にとどまり、希少・複雑な形態への一般化能力の優位性が示された。