[論文レビュー] Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text

Raj Nath Patel, Prakash B. Pimpale+1 more|arXiv (Cornell University)|Nov 15, 2016

Natural Language Processing Techniques参考文献 34被引用数 9

ひとこと要約

本論文は、コードミックスド・インディアンSNSテキスト（ヒンディー語-英語、ベンガル語-英語、テルグ語-英語）における品詞タギングのためのGRUベースの再帰的ニューラルネットワーク言語モデルを提案する。事前学習と言語IDを追加の特徴量として組み込むことで、スタンフォードやHunPosといった最先端のシステムと同等のF1スコアを達成し、低リソース言語対においても優れた性能を示した。

ABSTRACT

This paper describes Centre for Development of Advanced Computing's (CDACM) submission to the shared task-'Tool Contest on POS tagging for Code-Mixed Indian Social Media (Facebook, Twitter, and Whatsapp) Text', collocated with ICON-2016. The shared task was to predict Part of Speech (POS) tag at word level for a given text. The code-mixed text is generated mostly on social media by multilingual users. The presence of the multilingual words, transliterations, and spelling variations make such content linguistically complex. In this paper, we propose an approach to POS tag code-mixed social media text using Recurrent Neural Network Language Model (RNN-LM) architecture. We submitted the results for Hindi-English (hi-en), Bengali-English (bn-en), and Telugu-English (te-en) code-mixed data.

研究の動機と目的

• コードミックスド・インディアンSNSテキストにおける多言語混合、表記変異、および表記のばらつきによる言語的複雑さを示す低リソース言語対に対して、耐障害性があり言語に依存しない品詞タガーを開発すること。
• 特にGRU、LSTM、Simple_RNNといったRNNアーキテクチャの性能が、低リソースでコードミックスドな状況下で品詞タギングに与える影響を調査すること。
• 事前学習と言語IDを補助特徴量として組み込むことで、モデルの汎化性能と精度がコードミックスド品詞タギングに与える影響を評価すること。
• 共有ベンチマークデータ上で、提案されたRNNベースのアプローチをスタンフォードやHunPosといった既存のシステムと比較すること。

提案手法

• モデルは、ターゲット語の周囲に文脈窓（例：3語）を設定し、出力としてその品詞タグを予測する、変更を加えたRNN-LMアーキテクチャを採用する。
• コアとなるアーキテクチャは、情報の流れを制御し、消失勾配問題を緩和するための更新ゲートとリセットゲートを備えたゲート付き再帰ユニット（GRUs）を採用する。
• 各語の言語IDは別個の特徴量ベクトルとしてエンコードされ、語の分散表現と連結され、同じスペルでも異なる言語由来の語（例：ヒンディー語の「are」と英語の「are」）を区別するのを助ける。
• モデルは、コードミックスド品詞タギングタスクの微調整の前に、大規模な単語彙のコーパスで事前学習され、汎化性能が向上する。
• 語の分散表現は学習中にスクラッチから学習され、最終出力層には隠れ状態から品詞タグを予測するためのソフトマックス関数が使用される。
• 3つの学習設定が評価された：標準GRU、事前学習付きGRU（GRU_Pre）、事前学習と言語特徴付きGRU（GRU_Pre_Lang）。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データがあるにもかかわらず、GRUベースのRNNモデルはコードミックスド・インディアンSNSテキストで競争力のある品詞タギング性能を達成できるか？
• RQ2 事前学習は、低リソースなコードミックスド言語対におけるRNNベースの品詞タガーの性能にどのように影響するか？
• RQ3 言語IDを補助特徴量として組み込むことで、異なる言語由来の同音異義語（例：ヒンディー語の「are」と英語の「are」）を区別する能力が向上するか？
• RQ4 このコードミックスド品詞タギングタスクにおいて、異なるRNNバリアント（Simple_RNN、LSTM、Deep LSTM、GRU）の性能はどのように比較されるか？
• RQ5 提案されたRNNモデルは、この共有タスクにおいて、スタンフォードやHunPosといった既存のシステムと同等か、それ以上の性能を示すか？

主な発見

• GRU_Pre_Langモデルが全言語対で最高のF1スコアを記録し、hi-enでは80.92%、bn-enでは74.05%、te-enでは74.00%を達成し、標準RNNやベースラインシステムを上回った。
• 事前学習は性能向上に顕著な効果を示し、GRU_Preは標準GRUの78.29%と比較してhi-enで80.51%のF1スコアを達成した。
• 言語IDを特徴量として追加することで、特に「are」や「to」のような同表記で異なる品詞タグを持つ言語間の曖昧さを解消する能力が向上した。
• 理論的にはLSTMに優位性があるものの、このデータセットではGRUやSimple_RNNに劣った。これは、データ不足とモデルの複雑さが主な要因と考えられる。
• 低リソースなbn-en対（学習文が約0.5K）では、RNNモデルはスタンフォードやHunPosに比べて性能が劣った。これは、RNNが低リソース状況でSOTAに到達するにはさらにデータが必要であることを示唆している。
• 混同行列の分析から、G_X、G_V、G_N、G_J（粗粒度）およびV_VM、JJ、N_NN、N_NNP（細粒度）が最も頻繁に誤分類され、互いに混同されやすいことが判明した。