[論文レビュー] TUNIZI: a Tunisian Arabizi sentiment analysis Dataset

Chayma Fourati, Abir Messaoudi+1 more|arXiv (Cornell University)|Apr 29, 2020

Sentiment Analysis and Opinion Mining被引用数 9

ひとこと要約

本論文では、Tunisian Dialect（トゥニジアン・ダイアレクト）をラテン文字と数字で表記した、Sentiment Analysis用の公開済みデータセットであるTUNIZIを紹介する。YouTubeのコメントから収集され、リンクや標点を除去する前処理が施され、5名のネイティブ・トゥニジアン話者による手動アノテーションが行われた。このデータセットには、バランスの取れた感情ラベル（47%ポジティブ、53%ネガティブ）を備えた9,210文が含まれており、低リソースな北アフリカ諸語のディープラーニング研究を可能にする。

ABSTRACT

On social media, Arabic people tend to express themselves in their own local dialects. More particularly, Tunisians use the informal way called "Tunisian Arabizi". Analytical studies seek to explore and recognize online opinions aiming to exploit them for planning and prediction purposes such as measuring the customer satisfaction and establishing sales and marketing strategies. However, analytical studies based on Deep Learning are data hungry. On the other hand, African languages and dialects are considered low resource languages. For instance, to the best of our knowledge, no annotated Tunisian Arabizi dataset exists. In this paper, we introduce TUNIZI a sentiment analysis Tunisian Arabizi Dataset, collected from social networks, preprocessed for analytical studies and annotated manually by Tunisian native speakers.

研究の動機と目的

• ラテン文字で表記される低リソースなアラビア語方言、特にトゥニジアン・アラビジ語のアノテーション済みデータセットの不足に対処すること。
• バランスの取れた代表的なデータセットを提供することで、北アフリカにおけるNLP分野における感情分析研究を支援すること。
• トゥニジアンのオンラインコンテンツにおける顧客感情分析、マーケティング、ソーシャルメディア監視の分野におけるディープラーニング応用を可能にすること。
• 公開可能なデータセットを提供することで、代表されないアフリカ諸語の研究を促進すること。

提案手法

• 政治、スポーツ、コメディ、トゥニジア音楽など多様なトピックをカバーするYouTubeコメントからのデータ収集。
• カスタムスクリプトを用いた自動フィルタリングにより、フランス語および英語のコメントを除外。
• トゥニジアン・アラビジ語のコンテンツのみを保持するための手動によるキュレーションを行い、非トゥニジアン方言を除外。
• URL、絵文字、標点の除去といった前処理ステップを実施し、テキストを標準化。
• 大学院修士・博士号保有の5名のネイティブ・トゥニジアン話者による手動感情ラベルアノテーションにより、言語的正確性を確保。
• 2名の女性アノテーターによる相互評価を通じて、ラベルの一貫性とデータセットの品質を検証。

実験結果

リサーチクエスチョン

• RQ1 トゥニジアン・アラビジ語のアノテーション済みデータセットの現状はどのようなもので、既存リソースにおけるギャップは何か？
• RQ2 実世界のソーシャルメディアコンテンツから、バランスの取れた代表的なトゥニジアン・アラビジ語の感情分析データセットをどのように構築できるか？
• RQ3 特に非標準的で口語的な表記法を有するトゥニジアン・アラビジ語テキストをNLPタスク用に収集・前処理する際の課題は何か？
• RQ4 ネイティブ話者による手動アノテーションが、低リソース言語の高品質な感情ラベルを保証するためにどれほど有効であるか？
• RQ5 TUNIZIが、北アフリカのアラビア語方言における将来的なディープラーニングモデルの感情分析研究をどれほど支援できるか？

主な発見

• TUNIZIは、9,210文を含む、トゥニジアン・アラビジ語の感情分析用で最初の公開済みデータセットである。
• データセットはバランスが取られており、ポジティブコメントが4,372件（全体の47%）、ネガティブコメントが4,838件（全体の53%）を占める。
• 前処理後、データセットには79,862語と22,850語の固有語が含まれており、言語的多様性が示されている。
• 2名の女性アノテーターによる評価を通じて、アノテーションプロセスは高い信頼性を達成し、ラベルの一貫性が保証された。
• 政治、コメディ、トゥニジア音楽など多様なコンテンツタイプからデータを収集したため、データセットの代表性が向上した。
• 今後のアフリカ諸語のNLP研究を支援するため、GitHubに公開された。