[論文レビュー] Findings of the Sentiment Analysis of Dravidian Languages in Code-Mixed Text

Bharathi Raja Chakravarthi, Ruba Priyadharshini+9 more|arXiv (Cornell University)|Nov 18, 2021

Natural Language Processing Techniques参考文献 11被引用数 9

ひとこと要約

本論文は、Tamil、Malayalam、Kannadaのコードミックスド・ドレイアダン言語における感情分析の共有タスクの結果を提示する。マルチリンガルおよびファインチューニングされたトランスフォーマー・モデルを用いた。上位システムは、Tamil-Englishで0.711、Malayalam-Englishで0.804、Kannada-Englishで0.630の重み付きF1スコアを達成し、XLM-RoBERTaとコンテキストエンベッディングの強力な性能を示したが、ドメイン特化最適化のおかげで、Kannadaでは従来のモデルがトランスフォーマーを上回った。

ABSTRACT

We present the results of the Dravidian-CodeMix shared task held at FIRE 2021, a track on sentiment analysis for Dravidian Languages in Code-Mixed Text. We describe the task, its organization, and the submitted systems. This shared task is the continuation of last year's Dravidian-CodeMix shared task held at FIRE 2020. This year's tasks included code-mixing at the intra-token and inter-token levels. Additionally, apart from Tamil and Malayalam, Kannada was also introduced. We received 22 systems for Tamil-English, 15 systems for Malayalam-English, and 15 for Kannada-English. The top system for Tamil-English, Malayalam-English and Kannada-English scored weighted average F1-score of 0.711, 0.804, and 0.630, respectively. In summary, the quality and quantity of the submission show that there is great interest in Dravidian languages in code-mixed setting and state of the art in this domain still needs more improvement.

研究の動機と目的

• ソーシャルメディアのテキストを用いて、コードミックスド・ドレイアダン言語（Tamil、Malayalam、Kannada）における感情分析の評価と前進を図ること。
• 低リソースでコードミックスドな言語環境におけるマルチリンガル・トランスフォーマー・モデルと従来の自然言語処理技術の有効性を評価すること。
• FIRE 2021で開催された共有タスクを通じて、ドレイアダン言語NLP分野における研究関心を喚起し、ベンチマーク性能を促進すること。
• 今後の研究のための、Tamil-English、Malayalam-English、Kannada-Englishのアノテート済みでマルチリンガルなコードミックスドデータセットを提供すること。
• 低リソースのドレイアダン言語バリアントに一般化しやすいモデルアーキテクチャとファインチューニング戦略を同定すること。

提案手法

• 共有タスクは、Tamil、Malayalam、Kannadaと英語の間で、トークン内およびトークン間レベルでのコードミックスングを含む、ソーシャルメディアのYouTubeコメントから人間がアノテートしたデータを用いた。
• 参加者は、このようなデータに対して事前学習を行っていないにもかかわらず、XLM-RoBERTa、BERT、DistilBERTなどのマルチリンガル事前学習モデルをコードミックスドデータセット上でファインチューニングした。
• 上位システムは、ファインチューニングされたトランスフォーマー・アーキテクチャを用いて、コンテキスト単語エンベッディングとアテンション機構を活用し、感情極性をモデル化した。
• 一部のチームは、より低い性能であったが、従来の機械学習モデル（例：ロジスティック回帰、TF-IDFを用いたSVM）およびRNN（例：LSTM、ULMFiT）を用いた。
• 評価は重み付きF1スコアに基づき、Tamil-English、Malayalam-English、Kannada-Englishの3つの言語ペアごとに順位付けされた。
• 本タスクは、前回のDravidian-CodeMix 2020共有タスクを発展させ、Kannadaを追加し、より複雑なコードミックスングパターンを含めた。

実験結果

リサーチクエスチョン

• RQ1 XLM-RoBERTaのようなマルチリンガル・トランスフォーマー・モデルは、コードミックスド・ドレイアダン言語における感情分析にどの程度有効であるか？
• RQ2 コードミックスド・ドレイアダン-英語テキストに事前学習モデルをファインチューニングすることで、どの程度の性能向上が達成できるか？
• RQ3 なぜSVMとTF-IDFを組み合わせた従来のモデルが、Kannada-Englishベンチマークでトランスフォーマーを上回ったのか？
• RQ4 コードミックスングのレベル（トークン内対トークン間）は、感情分類のパフォーマンスにどのように影響するか？
• RQ5 低リソースのドレイアダン言語におけるコードミックスド環境下での感情分析の現在の最先端技術は何か？

主な発見

• Tamil-Englishの最良システムは重み付きF1スコア0.711を達成し、CIA_NITT [29]が第1位を獲得した。
• Malayalam-Englishでは、最高スコア0.804のシステムが、ZYBank-AI [21]によってリードされ、この言語ペアにおけるモデルの一般化能力が強く示された。
• Kannada-Englishでは、最良システムがF1スコア0.630を達成し、SSNCSE_NLP [33]がTF-IDFとロジスティック回帰を用いたトランスフォーマー基盤のモデルを上回った。
• トランスフォーマー・モデルの優位性にもかかわらず、SVMやロジスティック回帰とTF-IDFを組み合わせた従来のモデルがKannadaで最先端の結果を達成したことは、ドメイン特化最適化が極めて重要であることを示唆している。
• 各言語の上位3システムは、コンテキストエンベッディングとファインチューニングされたマルチリンガルモデルを用いており、XLM-RoBERTaは全言語で強力なパフォーマンスを示した。
• 結果は、ドレイアダンNLP分野への関心の高まりを示しており、Tamil、Malayalam、Kannadaそれぞれに22、15、15件の提出がなされ、継続的なコミュニティ参加が確認された。