[論文レビュー] MoNoise: Modeling Noise Using a Modular Normalization System

Rob van der Goot, Gertjan van Noord|arXiv (Cornell University)|Oct 10, 2017

Natural Language Processing Techniques参考文献 22被引用数 24

ひとこと要約

MoNoiseは、非標準的なソーシャルメディアテキストを標準語に変換する際の汎用性と効率性を向上させるモジュラーな正規化システムを提案する。スプール補正、ワード埋め込み、トレーニングデータから抽出された静的ルックアップリストを用いた候補生成と、N-gram特徴量を用いたランダムフォレスト分類器によるランク付けを組み合わせることで、英語およびオランダ語のベンチマークにおいて、LexNorm1.2、LexNorm2015、GhentNormを含む複数のデータセットで先行手法を上回る最先端の性能を達成する。

ABSTRACT

We propose MoNoise: a normalization model focused on generalizability and efficiency, it aims at being easily reusable and adaptable. Normalization is the task of translating texts from a non- canonical domain to a more canonical domain, in our case: from social media data to standard language. Our proposed model is based on a modular candidate generation in which each module is responsible for a different type of normalization action. The most important generation modules are a spelling correction system and a word embeddings module. Depending on the definition of the normalization task, a static lookup list can be crucial for performance. We train a random forest classifier to rank the candidates, which generalizes well to all different types of normaliza- tion actions. Most features for the ranking originate from the generation modules; besides these features, N-gram features prove to be an important source of information. We show that MoNoise beats the state-of-the-art on different normalization benchmarks for English and Dutch, which all define the task of normalization slightly different.

研究の動機と目的

• 非標準的なソーシャルメディアテキストを標準語に変換する汎用的で効率的な正規化モデルの開発。
• モデルの再トレーニングではなく、ノイズの多いユーザ生成テキストの前処理によりドメイン適応の課題に対処。
• 綴りの誤り訂正、省略語の展開、変形語の正規化など、多様な正規化タスクにおける性能向上。
• モジュラーなコンponentsを用いて複数の正規化アクションをサポートする再利用可能で柔軟なシステムの設計。
• 構文解析や品詞タグ付けなどの下流NLPタスクにおける前処理ステップとしてのモデル効果の評価。

提案手法

• 各モジュールが特定の正規化アクション（例：綴りの補正、ワード埋め込みベースの候補生成）を担当するモジュラーなアーキテクチャを採用。
• 候補生成は3つのコアモジュールに依存する：スプール補正システム、ワード埋め込みモジュール、トレーニングデータから抽出された静的ルックアップリスト。
• ランダムフォレスト分類器が、語の類似度や編集距離といった生成モジュールからの特徴に加え、N-gram特徴量を主な予測変数として用いて候補をランク付け。
• 1:1および1:Nの正規化アクション（例：'tmr' → 'tomorrow'、'Ima' → 'I’m going to'）をサポート。
• 複数のベンチマークでエンドツーエンドに訓練され、正規化の攻撃性を制御するための重みパラメータを備える。
• 外部評価では、Berkeley構文解析器および双方向LSTM品詞タグガーBiltyを前処理として用い、性能を評価。

実験結果

リサーチクエスチョン

• RQ1 モジュラー正規化システムは、多様なソーシャルメディア正規化タスクおよびベンチマークに一般化可能か？
• RQ2 複数の生成モジュールからの特徴量と組み合わせたランダムフォレスト分類器は、多様な正規化候補のランク付けにおいて効果的か？
• RQ3 N-gram特徴量は、埋め込みや編集距離特徴量に比べて、ランク付け性能をどの程度向上させるか？
• RQ4 MoNoiseは、英語およびオランダ語の正規化ベンチマークにおいて、既存の最先端モデルを上回るか？
• RQ5 MoNoiseは、構文解析や品詞タグ付けなどの下流NLPタスクの前処理として効果的か？

主な発見

• LexNorm2015ベンチマークにおいて、MoNoiseは86.39のF1スコアを達成し、先行手法を顕著に上回る最先端の性能を示した。
• LexNorm1.2データセットでは、F1スコアが75.97に達し、異なるアノテーション基準に対しても強い一般化性能を示した。
• GhentNormデータセットでは、精度が80.95、再現率が28.81であったが、訓練データの少なさやアノテーションの差異が性能制限要因の一部であった。
• 外部評価では、Berkeley構文解析器がMoNoiseの最良正規化シーケンスを用いることでF1スコアが0.68%向上し、上位n個の候補を用いることで1.26%向上した。
• 双方向LSTM品詞タグガーBiltyは、MoNoiseのワード埋め込みを初期化に用いることで、2つのテストセットでそれぞれ1.10および0.39パーセンテージポイントの精度向上を達成した。
• N-gram特徴量がランク付け分類器において最も重要な予測変数であることが特定され、埋め込みや編集距離特徴量単体よりも優れた性能を示した。