[論文レビュー] ADAB: Arabic Dataset for Automated Politeness Benchmarking -- A Large-Scale Resource for Computational Sociopragmatics

Hend Al-Khalifa, Nadia Ghezaiel+6 more|arXiv (Cornell University)|Feb 14, 2026

Hate Speech and Cyberbullying Detection被引用数 0

ひとこと要約

ADABは現代標準アラビア語と複数方言にまたがる10kサンプルの丁寧/不丁寧/中立で注釈付きのデータセットを提供し、16の丁寧さカテゴリと40モデルによるベンチマークを実施。

ABSTRACT

The growing importance of culturally-aware natural language processing systems has led to an increasing demand for resources that capture sociopragmatic phenomena across diverse languages. Nevertheless, Arabic-language resources for politeness detection remain under-explored, despite the rich and complex politeness expressions embedded in Arabic communication. In this paper, we introduce ADAB (Arabic Politeness Dataset), a new annotated Arabic dataset collected from four online platforms, including social media, e-commerce, and customer service domains, covering Modern Standard Arabic and multiple dialects (Gulf, Egyptian, Levantine, and Maghrebi). The dataset was annotated based on Arabic linguistic traditions and pragmatic theory, resulting in three classes: polite, impolite, and neutral. It contains 10,000 samples with linguistic feature annotations across 16 politeness categories and achieves substantial inter-annotator agreement (kappa = 0.703). We benchmark 40 model configurations, including traditional machine learning, transformer-based models, and large language models. The dataset aims to support research on politeness-aware Arabic NLP.

研究の動機と目的

• アラビア語の丁寧さ検出に culturally aware NLP resource が必要であることを動機づける。
• MSAと主要なアラビア語方言を covering する大規模な注釈付きデータセットを提示する。
• アラビア語の言語伝統と語用論理論に基づく注釈を定義する。
• 丁寧さを意識したアラビア語NLP研究を刺激するベースラインとモデルベンチマークを提供する。

提案手法

• ソーシャルメディア、eコマース、カスタマーサービスを横断する4つのオンラインプラットフォームからデータを収集する。
• データを3クラス（丁寧、非丁寧、中立）と16の丁寧さカテゴリにアノテーションする。アラビア語の言語伝統と語用論理論に基づく。
• アノテーション品質を、アノテーター間一致（kappa＝0.703）で保証する。
• 従来の機械学習、トランスフォーマーベースのモデル、大規模言語モデルを含む40のモデル構成をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 MSAと方言を横断する丁寧さに関する信頼できるリソースと注釈は何か。
• RQ2 現在のモデルは分野と方言を横断してアラビア語の丁寧さをどの程度検出できるか。
• RQ3 アラビア語の丁寧さ分類を支える言語的特徴は何か。
• RQ4 アノテーションのアノテーター間一致はアラビア語の丁寧さ注釈の信頼性をどう反映するか。

主な発見

• ADABは16の丁寧さカテゴリにわたる注釈付き言語特徴を含む10,000サンプルで構成される。
• データセットは実質的なアノテーター間一致（kappa＝0.703）を達成している。
• 40のモデル構成に対するベンチマーキングはアラビア語の丁寧さ検出のベースライン性能を提供する。
• 丁寧さ信号は現代標準アラビア語および湾岸、エジプト、レバント、マグレブ方言全体で捉えられている。
• データセットはソーシャルメディア、eコマース、カスタマーサービスなどの分野にわたる丁寧さを意識したアラビア語NLP研究を支援するよう設計されている。