[논문 리뷰] An open access NLP dataset for Arabic dialects : Data collection, labeling, and model construction

ElMehdi Boujou, Hamza Chataoui외 4명|arXiv (Cornell University)|2021. 02. 07.

Natural Language Processing Techniques참고 문헌 7인용 수 17

한 줄 요약

이 논문은 5개의 국가 어법(모로코어, 알제리어, 튀니지어, Egyptians, 페르시아만어)을 포함하는 50,000건 이상의 수동 레이블링된 아랍어 소셜미디어 트윗을 포함한 오픈 액세스, 다국어 어법, 다주제 NLP 데이터셋을 소개한다. 이 데이터셋은 감성 분석, 주제 분류, 어법 식별의 세 가지 핵심 NLP 작업을 지원하며, 지도 학습 모델을 사용한다. 어법 식별에서는 나이브 베이즈가 가장 높은 F1 점수(0.75)를 기록했고, 주제 분류에서는 선형 SVC가 가장 뛰어난 성능을 보였다(F1-micro: 0.84). 이 데이터셋은 저자원 아랍어 어법 NLP 분야의 연구 및 혁신을 가속화하기 위해 공개되어 있다.

ABSTRACT

Natural Language Processing (NLP) is today a very active field of research and innovation. Many applications need however big sets of data for supervised learning, suitably labelled for the training purpose. This includes applications for the Arabic language and its national dialects. However, such open access labeled data sets in Arabic and its dialects are lacking in the Data Science ecosystem and this lack can be a burden to innovation and research in this field. In this work, we present an open data set of social data content in several Arabic dialects. This data was collected from the Twitter social network and consists on +50K twits in five (5) national dialects. Furthermore, this data was labeled for several applications, namely dialect detection, topic detection and sentiment analysis. We publish this data as an open access data to encourage innovation and encourage other works in the field of NLP for Arabic dialects and social media. A selection of models were built using this data set and are presented in this paper along with their performances.

연구 동기 및 목표

• 저자원 아랍어 어법(NLP 분야에서의 저자원 변형, 이집트어 및 페르시아만어 외)에 대해 오픈이고 고품질이며 레이블링된 데이터셋의 부족 문제를 해결하기 위해.
• 트위터에서 수집한 대규모 다국어 어법, 다주제 소셜미디어 데이터셋을 수집하고 수동 레이블링하여 다양한 NLP 응용을 지원하기 위해.
• 연구자 및 아랍어 NLP 개발자들이 데이터 수집 및 레이블링의 부담을 줄일 수 있도록 공개된 기준 데이터셋을 제공하기 위해.
• 제안된 데이터셋에서 어법 식별, 주제 분류, 감성 분석의 세 가지 핵심 NLP 작업에 대해 기준 모델을 평가하기 위해.

제안 방법

• 다국어 해시태그와 关련 키워드를 사용하여 트위터에서 다섯 국가의 아랍어 어법(모로코어, 알제리어, 튀니지어, 이집트어, 페르시아만어)을 대상으로 데이터를 수집하였다.
• 필터링 후 총 52,210건의 트윗을 포함하는 데이터셋으로, 어법 식별, 주제 분류(정치, 건강, 사회, 스포츠, 경제, 기타), 감성 분석(긍정, 부정, 중립)의 세 가지 작업에 대해 수동 레이블링이 이루어졌다.
• 품질 확보를 위해 인간 레이블러가 작업을 수행하고 상호 레이블러 일致도 검사를 실시하였으며, 데이터셋은 완전한 투명성과 접근성을 바탕으로 공개되었다.
• 로그리스틱 회귀, SGD 분류기, 선형 SVC, 나이브 베이즈 등의 지도 학습 모델을 사용하여 그리드 서치와 파이프라인 최적화를 통해 학습 및 평가를 수행하였다.
• 특히 주제 분류에서 다수의 '기타' 클래스(75%)로 인한 불균형 데이터 문제를 고려해, 모델 일반화를 향상시키기 위해 다수 클래스의 오버샘플링을 권장하였다.
• 성능 평가에는 표준 지표인 F1 점수(micro), 정밀도, 재현도, 정확도, 균형 정확도를 사용하여 모든 작업에서 평가하였다.

실험 결과

연구 질문

• RQ1 대규모 다국어 어법, 다주제 아랍어 소셜미디어 데이터셋을 효과적으로 수집하고 수동으로 레이블링할 수 있는가?
• RQ2 이 새로운 공개 데이터셋을 기반으로 표준 지도 학습 기반 모델이 어법 식별, 주제 분류, 감성 분석에서 얼마나 잘 성능을 내는가?
• RQ3 다양한 모델들(예: 로그리스틱 회귀 대비 나이브 베이즈) 간의 성능 상호 간의 상호 보완성은 저자원 아랍어 어법에서 세 가지 NLP 작업에 대해 어떻게 나타나는가?
• RQ4 특히 '기타' 주제 카테고리에서 발생하는 데이터 불균형이 모델 성능에 미치는 영향은 어느 정도이며, 이를 어떻게 완화할 수 있는가?
• RQ5 이 오픈 액세스 데이터셋은 향후 아랍어 어법 NLP 분야의 연구 및 혁신을 위한 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• 어법 식별에서 나이브 베이즈 분류기가 가장 높은 F1 점수(0.75)를 기록했으며, 로그리스틱 회귀(0.72), SGD 분류기(0.73), 선형 SVC(0.75)보다 뛰어났다.
• 주제 분류에서 선형 서포트 벡터 분류기(LINEAR SVC)가 F1-micro 점수 0.84로 가장 높은 성능을 보였고, 로그리스틱 회귀(0.82)가 뒤를 이었다. 이는 '기타' 클래스의 높은 불균형에도 불구하고 성능이 우수했다.
• 감성 분석에서는 SGD 분류기가 F1-micro 점수 0.74와 정확도 0.77로 가장 높은 성능을 보였으며, 로그리스틱 회귀 및 선형 SVC를 약간 앞섰고, 나이브 베이즈는 가장 낮은 성능을 보였다(F1-micro: 0.67).
• 감성 분석을 위한 레이블링된 트윗은 총 52,210건이며, 중립(30,033건, 57.5%), 부정(15,385건, 29.5%), 긍정(6,792건, 13%)으로 분포되어 있어 뚜렷한 클래스 불균형이 존재한다.
• '기타' 주제 카테고리가 전체 주제 레이블 트윗의 75%를 차지하며(50,000건 중 37,313건), 심각한 클래스 불균형을 나타내어 효과적인 모델 훈련을 위해 오버샘플링이 필요하다.
• 이 데이터셋은 [1]에서 공개되어 있으며, 모든 기준 모델은 [8]에서 제공되어 향후 아랍어 어법 NLP 분야의 재현성 및 기준 평가를 가능하게 한다.