[論文レビュー] Part-of-Speech Tagging for Code-mixed Indian Social Media Text at ICON 2015

Kamal Sarkar|arXiv (Cornell University)|Jan 6, 2016

Natural Language Processing Techniques参考文献 12被引用数 7

ひとこと要約

本論文は、語彙照合と語彙レベル特徴を活用して、既知および未知のトークンの観測確率を向上させる、trigram Hidden Markov Model (HMM) を用いたコードミックスド・インディアンSNSテキスト向けの品詞タガーを提示する。本システムは、ベンガル語-英語、ヒンディー語-英語、タミル語-英語の言語ペアにおいて、制約ありモードで平均75.60%、制約なしモードで平均70.65%の精度を達成し、挑戦的な多言語・低リソースNLPタスクにおいて優れた性能を示した。

ABSTRACT

This paper discusses the experiments carried out by us at Jadavpur University as part of the participation in ICON 2015 task: POS Tagging for Code-mixed Indian Social Media Text. The tool that we have developed for the task is based on Trigram Hidden Markov Model that utilizes information from dictionary as well as some other word level features to enhance the observation probabilities of the known tokens as well as unknown tokens. We submitted runs for Bengali-English, Hindi-English and Tamil-English Language pairs. Our system has been trained and tested on the datasets released for ICON 2015 shared task: POS Tagging For Code-mixed Indian Social Media Text. In constrained mode, our system obtains average overall accuracy (averaged over all three language pairs) of 75.60% which is very close to other participating two systems (76.79% for IIITH and 75.79% for AMRITA_CEN) ranked higher than our system. In unconstrained mode, our system obtains average overall accuracy of 70.65% which is also close to the system (72.85% for AMRITA_CEN) which obtains the highest average overall accuracy.

研究の動機と目的

• コードミックスド・インディアンSNSテキストにおける品詞タギングの課題に取り組むこと。ここには、言語的多様性と非公式な言語使用が、NLPタスクに大きな課題をもたらす。
• インドのSNSプラットフォームで一般的な低リソース・ミックスド言語テキストを処理できる、堅牢な品詞タギングシステムの開発。
• 強化された観測確率モデリングにより、既知および未知のトークンのタギング精度を向上させること。
• 制約ありおよび制約なしの両設定下で、ベンガル語-英語、ヒンディー語-英語、タミル語-英語の複数の言語ペアに対してシステムを評価すること。
• ICON 2015の共有タスクに参加し、特徴情報に基づくHMMモデリングに焦点を当てた競争的実行結果を提出すること。

提案手法

• 本システムは、品詞タグの系列をモデル化するため、長距離依存関係を捉えるためにtrigram Hidden Markov Model (HMM) を採用する。
• 観測確率は、既知トークンのための語彙照合と、文字nグラムや大文字化パターンなどの語彙レベル特徴を用いて強化される。
• 未知トークンの場合は、語彙的および表記的特徴を活用して妥当な品詞タグを推定する。
• 本システムは、手動でアノテートされたコードミックスドSNSテキストを含む、ICON 2015共有タスクデータセットを用いて学習および評価される。
• 2種類の評価モードが用いられる：制約あり（提供された学習データのみを用い、外部リソースを許可しない）および制約なし（外部知識の使用を許可する）。
• 各入力文について、最も確率の高い品詞タグ系列を特定するためにViterbiアルゴリズムが適用される。

実験結果

リサーチクエスチョン

• RQ1 特徴拡張された観測確率を備えたtrigram HMMは、コードミックスド・インディアンSNSテキストにおける品詞タギングにどの程度効果的か？
• RQ2 語彙照合と語彙レベル特徴は、低リソースなコードミックスド環境下で未知トークンのタギング精度をどの程度向上できるか？
• RQ3 ベンガル語-英語、ヒンディー語-英語、タミル語-英語といった多様な言語ペアにおいて、本システムはどの程度の性能を示すか？
• RQ4 制約ありと制約なしの設定が、全体のタギング性能に与える影響は何か？
• RQ5 本提案システムは、ICON 2015共有タスクにおける最先端システムと比較してどの程度の性能を示すか？

主な発見

• 制約ありモードでは、3つの言語ペアすべてで平均全体精度75.60%を達成し、上位に近い順位を獲得した。
• 制約なしモードでは、平均精度70.65%を達成し、同設定で最高精度を記録したシステム（72.85%）と競争力のある結果を示した。
• 語彙照合と語彙レベル特徴の統合により、ベースラインHMMと比較して未知トークンの処理が著しく向上した。
• trigram HMM構造は、語彙的に豊富でコードミックスドな文脈においても、品詞遷移パターンを効果的にモデル化できた。
• 本システムは、3つの言語ペアすべてで一貫した性能を示し、言語的多様性に対して頑健であることが示された。
• 結果から、特徴拡張HMMが、インドSNSテキストにおける低リソース・コードミックスド品詞タギングタスクにおいて実用的であることが確認された。