[논문 리뷰] Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification

Wajdi Zaghouani, Anis Charfi|arXiv (Cornell University)|2018. 08. 23.

Authorship Attribution and Profiling인용 수 29

한 줄 요약

이 논문은 아랍권 16개 국가, 11개 지역을 포함하는 대규모 다언어 다이아LECT Twitter 코퍼스인 Arap-Tweet를 소개한다. 이 코퍼스는 성별, 연령, 다이아LECT 다양성에 대해 주석 처리되어 있으며, 저자들은 다이아LECT 특화 키워드와 Twitter API 검증을 통해 트윗을 수집하고, 표준화된 지침을 가진 전문 주석자들을 활용하며 주석 일관성을 평가하였다. 결과적으로 이는 아랍어 NLP 및 저자 프로파일링 도구 개발에 유용한 자원이 되었다.

ABSTRACT

In this paper, we present Arap-Tweet, which is a large-scale and multi-dialectal corpus of Tweets from 11 regions and 16 countries in the Arab world representing the major Arabic dialectal varieties. To build this corpus, we collected data from Twitter and we provided a team of experienced annotators with annotation guidelines that they used to annotate the corpus for age categories, gender, and dialectal variety. During the data collection effort, we based our search on distinctive keywords that are specific to the different Arabic dialects and we also validated the location using Twitter API. In this paper, we report on the corpus data collection and annotation efforts. We also present some issues that we encountered during these phases. Then, we present the results of the evaluation performed to ensure the consistency of the annotation. The provided corpus will enrich the limited set of available language resources for Arabic and will be an invaluable enabler for developing author profiling tools and NLP tools for Arabic.

연구 동기 및 목표

• NLP 작업을 위한 다국어 및 다다이아LECT 아랍어 자원의 부족을 해결하기 위해.
• 16개 국가의 주요 아랍어 다이아LECT을 대표하는 대규모로 지리적으로 다양한 Twitter 코퍼스를 구축하기 위해.
• 아랍어에서 성별, 연령 및 다이아LECT 식별을 위한 저자 프로파일링 도구 개발을 가능하게 하기 위해.
• 구조화된 지침과 전문 주석자를 통해 고품질 주석을 확보하기 위해.
• 저자원 아랍어 NLP 연구를 지원하기 위해 공개 가능하고 신뢰할 수 있는 데이터셋을 제공하기 위해.

제안 방법

• 지역 아랍어 다양성을 대상으로 하기 위해 다이아LECT 특화 키워드를 사용해 Twitter에서 트윗을 수집하였다.
• 지역 정확성을 확보하기 위해 Twitter API를 활용해 트윗의 지리적 위치를 검증하였다.
• 세부 주석 지침을 바탕으로 훈련된 경험이 풍부한 주석자 팀을 구성하였다.
• 표준화된 기준을 사용해 각 트윗을 성별, 연령 범주, 다이아LECT 다양성에 대해 주석 처리하였다.
• 주석 일관성과 신뢰성을 평가하기 위해 상호 주석자 일치도 평가를 실시하였다.
• 다이아LECT 혼동 및 위치 오분류와 같은 데이터 수집 과제를 보고하였다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 지역 및 언어 레이블링을 갖춘 아랍어에서 대규모 다다이아LECT Twitter 코퍼스를 체계적으로 구축하는 방법은 무엇인가?
• RQ2 다양한 아랍어 다이아LECT을 통해 트윗을 수집하고 주석 처리하는 데 있어 주요 과제는 무엇인가?
• RQ3 아랍어에서 성별, 연령 및 다이아LECT 분류에 대해 다수의 주석자 간 주석 일관성은 어느 정도 달성될 수 있는가?
• RQ4 여러 다이아LECT을 포함하는 것이 NLP 및 저자 프로파일링 작업에서 코퍼스의 유용성에 어떤 영향을 미치는가?
• RQ5 저자원 아랍어 NLP 환경에서 데이터 수집 및 주석 처리 과정에서 발생하는 제한 사항과 편향은 무엇인가?

주요 결과

• Arap-Tweet 코퍼스는 11개 지역과 16개 국가의 트윗을 포함하며 주요 아랍어 다이아LECT 다양성을 대표한다.
• 저자들은 성별, 연령, 다이아LECT 범주에서 일관된 레이블링을 갖춘 대규모 데이터셋을 성공적으로 수집하고 주석 처리하였다.
• 주석 일관성을 확보하기 위해 상호 주석자 일치도 평가를 실시하여 주석 과정의 신뢰성을 확인하였다.
• 코퍼스는 다다이아LECT적이고 지리적으로 다양한 데이터셋을 제공함으로써 아랍어 NLP 자원의 핵심적 격차를 메웠다.
• 연구는 다이아LECT 겹침과 위치 검증 과제를 드러내었으며, 이는 키워드 기반 타겟팅과 API 검증을 통해 완화되었다.
• 최종 데이터셋은 공개되어 있으며 저자 프로파일링 및 아랍어 NLP 연구의 기초 자원으로 활용될 것을 목적으로 한다.