[論文レビュー] Adapting Sequence to Sequence models for Text Normalization in Social Media

Ismini Lourentzou, Kabir Manghnani+1 more|arXiv (Cornell University)|Apr 12, 2019

Natural Language Processing Techniques被引用数 18

ひとこと要約

本稿では、ノイズが多く、非形式的なテキストに強い耐性を発揮するように、語彙レベルのエンコーダ・デコーダと、敵対的例で訓練された文字レベルモデルを組み合わせたハイブリッド語-文字シーケンス・ツー・シーケンスモデルを提案する。このモデルは、既存のニューラルアーキテクチャを上回り、外部知識を用いずに最先端の性能を達成し、ユーザー生成コンテンツにおける誤字、省略語、発音表記の置換を効果的に処理できる。

ABSTRACT

Social media offer an abundant source of valuable raw data, however informal writing can quickly become a bottleneck for many natural language processing (NLP) tasks. Off-the-shelf tools are usually trained on formal text and cannot explicitly handle noise found in short online posts. Moreover, the variety of frequently occurring linguistic variations presents several challenges, even for humans who might not be able to comprehend the meaning of such posts, especially when they contain slang and abbreviations. Text Normalization aims to transform online user-generated text to a canonical form. Current text normalization systems rely on string or phonetic similarity and classification models that work on a local fashion. We argue that processing contextual information is crucial for this task and introduce a social media text normalization hybrid word-character attention-based encoder-decoder model that can serve as a pre-processing step for NLP applications to adapt to noisy text in social media. Our character-based component is trained on synthetic adversarial examples that are designed to capture errors commonly found in online user-generated text. Experiments show that our model surpasses neural architectures designed for text normalization and achieves comparable performance with state-of-the-art related work.

研究の動機と目的

• 標準のNLPツールが、未知語（OOV）や非標準的な表記による影響で機能しない、非形式的でノイズの多いソーシャルメディアテキストにおけるテキスト正規化の課題に対処すること。
• 文字列の類似性や局所的分類に依存する既存手法の限界を克服し、ニューラルシーケンス・ツー・シーケンスモデルを用いて文脈情報を統合すること。
• スラング、省略語、発音表記の置換、標点の誤りなど、多様な言語的変異を効果的に処理できる、耐性がありエンド・ツー・エンドで学習可能なモデルを開発すること。
• スラング辞書や事前学習済み埋め込みなどの外部語彙や言語資源に依存せずに、正規化性能を向上させること、特に希少または新規のOOV形式に対しても有効であるようにすること。

提案手法

• 語彙レベルのエンコーダ・デコーダと、未知語（OOV）またはノイズのある表記のための文字レベルのエンコーダ・デコーダを組み合わせたハイブリッドエンコーダ・デコーダアーキテクチャを採用する。
• 文字レベルモデルは、ソーシャルメディアテキストで一般的に見られる誤り（誤字、数字の置換、母音の長音化など）を模倣するように設計された合成的敵対的例で訓練される。
• 長距離依存性や文脈に依存する正規化意思決定を捉えるために、語レベルおよび文字レベルの両方でアテンション機構が適用される。
• 語レベルデコーダがOOVトークンの文字レベルエンコーダ出力に注目するように、統合的な学習戦略が採用される。
• 敵対的トレーニングデータは、標準語に一般的なノイズパターン（例：'2morrow' → 'tomorrow'）を適用することで生成され、現実世界のユーザーの誤りを模擬する。
• 標準的な指標（BLEUやエクサクトマッチ）に加え、人間による評価を実施し、厳密なトークン一致を超えた正しさを評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド語-文字シーケンス・ツー・シーケンスモデルは、ソーシャルメディアにおける多様で複雑な非形式的テキスト正規化を効果的に処理できるか？
• RQ2 アテンション機構による文脈情報の統合は、局所的または文字列ベースの手法と比較して、正規化精度をどのように向上させるか？
• RQ3 敵対的に生成されたトレーニングデータは、未観測のOOVやノイズのある語の表記に対するモデルの耐性をどの程度向上させるか？
• RQ4 提案手法は、外部語彙や言語資源に依存せずに、最先端のシステムと同等の性能を達成できるか？
• RQ5 強調や大文字の使用など、意味の保存が曖昧なケースでは、正規化の意思決定はどのように変化するか？

主な発見

• 提案されたハイブリッドモデル（HS2S）は、テキスト正規化に特化した標準的なニューラルシーケンス・ツー・シーケンスモデルと比較して優れた性能を示す。
• スラング辞書や事前学習済み埋め込みといった外部知識源を一切使用しないにもかかわらず、既存の最先端のシステムと同等の性能を達成している。
• 文字レベルのコンponentは、特に省略語、発音表記の置換、誤字の処理において顕著に性能を向上させている。
• 一部の正解ラベルが不完全または誤りであるにもかかわらず、モデルはゴールドスタンダードで正規化されていなかった複数のトークンを正しく正規化しており、強力な一般化能力を示している。
• 標点の誤り、母音の長音化、略語の展開など、さまざまなノイズタイプに対して耐性を示しており、外部言語資源への依存を最小限に抑えている。
• 人間による評価では、曖昧なケースでも意味的に正しいかつ文脈的に適切な正規化を生成していることが確認された。