[논문 리뷰] ADAB: Arabic Dataset for Automated Politeness Benchmarking -- A Large-Scale Resource for Computational Sociopragmatics

Hend Al-Khalifa, Nadia Ghezaiel외 6명|arXiv (Cornell University)|2026. 02. 14.

Hate Speech and Cyberbullying Detection인용 수 0

한 줄 요약

ADAB는 Modern Standard Arabic(MSA) 및 여러 방언에 걸친 10k 샘플의 대규모 Arabic politeness 데이터셋을 도입하고, polite/impolite/neutral로 주석화되며 16개의 politeness 카테고리와 40개의 모델로 벤치마크를 수행한다.

ABSTRACT

The growing importance of culturally-aware natural language processing systems has led to an increasing demand for resources that capture sociopragmatic phenomena across diverse languages. Nevertheless, Arabic-language resources for politeness detection remain under-explored, despite the rich and complex politeness expressions embedded in Arabic communication. In this paper, we introduce ADAB (Arabic Politeness Dataset), a new annotated Arabic dataset collected from four online platforms, including social media, e-commerce, and customer service domains, covering Modern Standard Arabic and multiple dialects (Gulf, Egyptian, Levantine, and Maghrebi). The dataset was annotated based on Arabic linguistic traditions and pragmatic theory, resulting in three classes: polite, impolite, and neutral. It contains 10,000 samples with linguistic feature annotations across 16 politeness categories and achieves substantial inter-annotator agreement (kappa = 0.703). We benchmark 40 model configurations, including traditional machine learning, transformer-based models, and large language models. The dataset aims to support research on politeness-aware Arabic NLP.

연구 동기 및 목표

• 아랍어 예의 탐지에서 문화적으로 의식된 NLP 자원의 필요성을 촉구한다.
• MSA와 주요 아랍어 방언을 다루는 대규모 주석 데이터셋을 제시한다.
• 아랍어 언어 전통과 화용 이론에 기초한 주석 정의.
• 예의 인식이 반영된 아랍어 NLP 연구를 활성화하기 위한 기준선 및 모델 벤치마크를 제공한다.

제안 방법

• 소셜 미디어, 전자상거래, 고객 서비스에 걸친 네 가지 온라인 플랫폼에서 데이터를 수집한다.
• 아랍어 언어 전통과 화용 이론에 근거하여 data를 세 가지 클래스로 주석화한다( polite, impolite, neutral ) 및 16개의 politeness 카테고리.
• 주석자 간 일치도(inter-annotator agreement)로 주석 품질을 보장한다(kappa = 0.703).
• 전통 ML, 트랜스포머 기반 모델, 대형 언어 모델을 포함한 40가지 모델 구성의 벤치마크를 수행한다.

실험 결과

연구 질문

• RQ1 MSA와 방언에 걸친 Arabic politeness에 대한 신뢰할 수 있는 자원과 주석은 무엇인가?
• RQ2 도메인과 방언 전반에서 현재 모델이 Arabic politeness를 얼마나 잘 탐지할 수 있는가?
• RQ3 Arabic politeness 분류를 지원하는 언어학적 특징은 무엇인가?
• RQ4 주석자 간 일치도가 Arabic politeness 주석의 신뢰도에 어떻게 반영되는가?

주요 결과

• ADAB는 10,000 샘플과 16 politeness 카테고리에 걸친 주석된 언어적 특징으로 구성된다.
• 데이터셋은 상당한 inter-annotator agreement를 달성한다(kappa = 0.703).
• 40개 모델 구성에 대한 벤치마킹은 Arabic politeness 탐지를 위한 기준 성능을 제공한다.
• Politeness 신호는 Modern Standard Arabic 및 Gulf, Egyptian, Levantine, Maghrebi 방언 전역에 걸쳐 포착된다.
• 데이터셋은 도메인 전반(소셜 미디어, 전자상거래, 고객 서비스)에서 예의 인식을 고려한 아랍어 NLP 연구를 지원하도록 설계되었다.