[論文レビュー] Experiments with POS Tagging Code-mixed Indian Social Media Text

Prakash B. Pimpale, Raj Nath Patel|arXiv (Cornell University)|Oct 31, 2016

Natural Language Processing Techniques参考文献 5被引用数 9

ひとこと要約

本稿では、コードミックスド・インディアンSNSテキストにおける品詞タギングのためのハイブリッド手法を提示する。スタンフォードのlog-linear品詞タギングと、word2vecに基づく特徴工学、WEKAを用いた機械学習を組み合わせたものである。非制約的評価において、ヒンディー語-英語で71.11%、ベンガル語-英語で75.46%、テルグ語-英語で48.03%のF1スコアを達成し、低リソースなコードミックスド環境において分散表現が有効であることを示している。

ABSTRACT

This paper presents Centre for Development of Advanced Computing Mumbai's (CDACM) submission to the NLP Tools Contest on Part-Of-Speech (POS) Tagging For Code-mixed Indian Social Media Text (POSCMISMT) 2015 (collocated with ICON 2015). We submitted results for Hindi (hi), Bengali (bn), and Telugu (te) languages mixed with English (en). In this paper, we have described our approaches to the POS tagging techniques, we exploited for this task. Machine learning has been used to POS tag the mixed language text. For POS tagging, distributed representations of words in vector space (word2vec) for feature extraction and Log-linear models have been tried. We report our work on all three languages hi, bn, and te mixed with en.

研究の動機と目的

• コードミックスド・インディアンSNSテキストにおける、複数のインド言語が英語と混在する文脈での、頑健な品詞タギングシステムの開発。
• コードミックスド・インディアン言語のアノテート済みトレーニングデータが限られる課題に対処するため、分散表現（word2vec）を用いた特徴抽出を活用する。
• J48、ランダムフォレスト、ナイーブベイズ、マルチレイヤーパーセプトロンなどの機械学習モデルが、低リソースで多言語のSNSテキストにおける品詞タギングに与える影響を評価する。
• 未学習語彙の処理を向上させるために、制約あり（スタンフォード品詞タギング）と制約なし（WEKA＋word2vec）のトレーニングアプローチを比較し、未知のコードミックスドデータへの汎化性能を向上させる。

提案手法

• 制約付き設定で、語の文脈（±2）、接尾語/接頭語（6文字）、Unicodeの形状を特徴に、スタンフォードのlog-linear品詞タギングモデルをトレーニングした。
• トレーニングデータとテストデータを統合し、その語の分散ベクトル表現（word2vec）を生成し、特徴工学に活用した。
• WEKAを用いて、語の言語、隣接語の言語、隣接語の品詞タグ、文における語の位置といった文脈的特徴を組み込んだ複数の機械学習モデルをトレーニングした。
• 未知語に対しては、word2vecモデルから類似語の最近傍探索を行い、類似語の最も頻出する品詞タグを推定した。
• フォールバック戦略として、最近傍が見つからない場合には、トレーニングセットで最も頻出する品詞タグを採用した。
• 20%のホールドアウトテストセットを用いてモデルを評価し、最高のF1スコアを示したJ48意思決定木を最終提出用に選定した。

実験結果

リサーチクエスチョン

• RQ1 提供された制約付きデータセットに限定してトレーニングされたスタンフォードlog-linear品詞タギングモデルは、コードミックスドのヒンディー語-英語、ベンガル語-英語、テルグ語-英語テキストにおいて、どの程度有効であるか？
• RQ2 word2vecに基づく分散表現は、低リソースなコードミックスド・インディアンSNSテキストにおける品詞タギング性能をどの程度向上できるか？
• RQ3 J48、ランダムフォレスト、ナイーブベイズ、マルチレイヤーパーセプトロンのうち、どの機械学習モデルが、限られたトレーニングデータを有するコードミックスド・インディアンテキストにおける品詞タギングで最も優れた性能を示すか？
• RQ4 word2vec埋め込みからの最近傍検索を用いることで、コードミックスドテキストにおける未知語の品詞タギングはどの程度改善されるか？
• RQ5 制約ありと制約なしのトレーニング設定の間には、コードミックスド・インディアン言語における品詞タギングで、どの程度の性能差が生じるか？

主な発見

• 制約付きの提出では、スタンフォードlog-linear品詞タギングモデルが、ヒンディー語-英語で71.11%、ベンガル語-英語で75.46%、テルグ語-英語で71.04%のF1スコアを達成した。
• 非制約的モデルの中で、J48意思決定木が実験的評価で、ヒンディー語-英語で44.60%、テルグ語-英語で50.30%の最高F1スコアを記録した。
• word2vec埋め込みの活用により、トレーニングデータ内での意味的に類似した語から品詞タグを取得することで、未知語の処理が効果的に行えるようになった。
• ランダムフォレストとナイーブベイズモデルはJ48に比べて性能が低く、それぞれヒンディー語-英語で43.00%、40.40%のF1スコアを示した。
• 非制約的システムはテルグ語-英語で48.03%のF1スコアを達成したが、これはword2vecが汎化性能を向上させる一方で、制約ありアプローチに比べて性能が依然として低いことを示している。
• 本研究では、分散語彙表現が、特に洗練された特徴工学と組み合わせることで、低リソースなコードミックスド環境における品詞タギングを強化できることを示している。