[論文レビュー] Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification

Wajdi Zaghouani, Anis Charfi|arXiv (Cornell University)|Aug 23, 2018

Authorship Attribution and Profiling被引用数 29

ひとこと要約

本稿では、アラビア語圏の11地域および16か国をカバーする大規模かつマルチダイアレクトのTwitterコーパス「Arap-Tweet」を紹介する。このコーパスは性別、年齢、ダイアレクトの多様性についてアノテーションが施されている。著者らは、ダイアレクトに特化したキーワードを用いてツイートを収集し、Twitter APIによる検証を実施した。標準化されたガイドラインに従って専門のアノテーターが作業を行い、アノテーションの一貫性を評価した。その結果、アラビア語NLPおよび著者プロファイリングツールの研究に貴重なリソースが得られた。

ABSTRACT

In this paper, we present Arap-Tweet, which is a large-scale and multi-dialectal corpus of Tweets from 11 regions and 16 countries in the Arab world representing the major Arabic dialectal varieties. To build this corpus, we collected data from Twitter and we provided a team of experienced annotators with annotation guidelines that they used to annotate the corpus for age categories, gender, and dialectal variety. During the data collection effort, we based our search on distinctive keywords that are specific to the different Arabic dialects and we also validated the location using Twitter API. In this paper, we report on the corpus data collection and annotation efforts. We also present some issues that we encountered during these phases. Then, we present the results of the evaluation performed to ensure the consistency of the annotation. The provided corpus will enrich the limited set of available language resources for Arabic and will be an invaluable enabler for developing author profiling tools and NLP tools for Arabic.

研究の動機と目的

• NLPタスクにおける多言語的・マルチダイアレクト的アラビア語リソースの不足に対処すること。
• 16か国にまたがる主なアラビア語ダイアレクトを代表する、大規模かつ地理的に多様なTwitterコーパスを構築すること。
• アラビア語における性別、年齢、ダイアレクト同定のための著者プロファイリングツールの開発を可能にすること。
• 標準化されたガイドラインと専門のアノテーターを用いて、高品質なアノテーションを保証すること。
• 低リソースなアラビア語NLP分野における研究を支援する、公開可能で信頼性のあるデータセットを提供すること。

提案手法

• 地域的アラビア語バリエーションを標的とするために、ダイアレクトに特化したキーワードを用いてTwitterからツイートを収集した。
• 地域の正確性を保証するため、Twitter APIを用いてツイートの地理的位置を検証した。
• 詳細なアノテーションガイドラインに従って訓練を受けた経験豊富なアノテーターのチームを編成した。
• 標準化された基準に従って、各ツイートを性別、年齢層、ダイアレクトの多様性についてアノテートした。
• アノテーター間の一貫性を評価するために、アノテーションの一貫性と信頼性を検証した。
• ダイアレクトの曖昧さや位置情報の誤分類といった、データ収集における課題を報告した。

実験結果

リサーチクエスチョン

• RQ1 信頼できる地域的・言語的ラベルが付与された、アラビア語における大規模かつマルチダイアレクトのTwitterコーパスを、体系的に構築する方法は何か？
• RQ2 多様なアラビア語ダイアレクトにまたがるツイートの収集とアノテーションにおいて、主な課題は何か？
• RQ3 アラビア語における性別、年齢、ダイアレクト分類について、複数のアノテーター間でどの程度のアノテーションの一貫性を達成できるか？
• RQ4 複数のダイアレクトを含めることで、コーパスのNLPおよび著者プロファイリングタスクにおける有用性にどのような影響が生じるか？
• RQ5 低リソースなアラビア語NLP環境において、データ収集およびアノテーションの段階で生じる制限およびバイアスは何か？

主な発見

• Arap-Tweetコーパスは、11地域および16か国のツイートを含み、主要なアラビア語ダイアレクトバリエーションを代表している。
• 著者らは、性別、年齢、ダイアレクトのカテゴリにおいて一貫性のあるラベリングがなされた大規模データセットを効果的に収集・アノテートした。
• アノテーションの信頼性を確認するため、アノテーター間一貫性評価が実施され、アノテーションプロセスの一貫性が裏付けられた。
• 本コーパスは、マルチダイアレクト的かつ地理的に多様なデータセットを提供することで、アラビア語NLPリソースにおける重要な空白を埋めた。
• 本研究では、ダイアレクトの重複や位置情報の検証の困難さといった課題が浮き彫りにされたが、キーワードベースの標的指定とAPI検証によってこれらを緩和した。
• 最終的なデータセットは公開されており、著者プロファイリングおよびアラビア語NLP分野における基盤的リソースとしての役割を果たすことを目的としている。