[논문 리뷰] Lisan: Yemeni, Iraqi, Libyan, and Sudanese Arabic Dialect Copora with Morphological Annotations

Mustafa Jarrar, Fadi A. Zaraket외 3명|arXiv (Cornell University)|2022. 12. 13.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은也門, 이라크, 리비아, 수단의 아랍어 방언에서 소셜 미디어에서 수집한 120만 개의 형태학적 태그가 부여된 토큰을 포함하는 다국어 코퍼스인 Lîsan̄을 소개한다. 저자들은 SAMA 및 Curras 태그셋을 사용하여 일관성 있고 품질 높은 태깅을 보장하기 위해 훈련된 모국어 사용자와 반복 검증을 통해 보조하는 ADAT(아랍어 방언 태깅 툴킷)를 개발하였다. 이로 인해 저자료 방언 NLP 연구를 위한 오픈소스이자 고품질의 자원이 탄생하였다.

ABSTRACT

This article presents morphologically-annotated Yemeni, Sudanese, Iraqi, and Libyan Arabic dialects Lisan corpora. Lisan features around 1.2 million tokens. We collected the content of the corpora from several social media platforms. The Yemeni corpus (~ 1.05M tokens) was collected automatically from Twitter. The corpora of the other three dialects (~ 50K tokens each) came manually from Facebook and YouTube posts and comments. Thirty five (35) annotators who are native speakers of the target dialects carried out the annotations. The annotators segemented all words in the four corpora into prefixes, stems and suffixes and labeled each with different morphological features such as part of speech, lemma, and a gloss in English. An Arabic Dialect Annotation Toolkit ADAT was developped for the purpose of the annation. The annotators were trained on a set of guidelines and on how to use ADAT. We developed ADAT to assist the annotators and to ensure compatibility with SAMA and Curras tagsets. The tool is open source, and the four corpora are also available online.

연구 동기 및 목표

• 저자료 방언의 NLP 분야에서의 자원 부족 문제를 해결하기 위해 고품질의 형태학적 태깅이 부여된 코퍼스를 구축하는 것.
• 다양한 방언 간 일관성과 품질을 보장하는 협업형 태깅 프레임워크를 개발하는 것.
• 저자료 방언에서 품사 태깅, 명명된 실체 인식, 형태학적 정규화 등의 NLP 작업을 지원하는 것.
• 학술 연구의 접근성과 재현 가능성을 높이기 위해 오픈소스 도구와 데이터셋을 제공하는 것.
• SAMA 및 Curras 태그셋을 사용하여 방언 간 표준화된 태깅을 실현함으로써 다방언 간 비교를 가능하게 하는 것.

제안 방법

• 페이스북, 트위터, 유튜브에서 텍스트를 수집하여 각 방언 전용 코퍼스를 구축함:也門(110만 토큰), 이라크(46,000), 리비아(52,000), 수단(52,000).
• SAMA, Curras 및 이전 태깅 결과에서 유사한 형태학적 해결책을 자동으로 검색하여 빠르고 표준화된 태깅을 지원하는 오픈소스 태깅 도구인 ADAT을 개발함.
• 표준화된 가이드라인을 사용해 35명의 모국어 태깅자들을 훈련하고, 상호 태깅 일致도 검사와 전문가 검토를 통해 품질 제어를 실시함.
• SAMA 및 Curras 태그셋을 적용하여 품사, 불변형 특성, 어근 정규화를 포함한 형태학적 태깅을 수행함.
• 신뢰도 점수(높음/보통/낮음)와 모호한 경우를 전문가에게 이관하는 제도를 도입하여 태깅 품질을 유지함.
• 작업을 분할하고 전용 논의 채널을 통해 문제 해결이 가능한 협업 워크플로우를 통해 태깅자들에게 할당함.

실험 결과

연구 질문

• RQ1 표준 철자법이 없는 저자료 아랍어 방언 간 형태학적 태깅을 어떻게 일관성 있게 적용할 수 있는가?
• RQ2 공유된 해결책 제안 기능을 갖춘 반자동 태깅 도구 사용이 태깅 속도와 일관성에 어떤 영향을 미치는가?
• RQ3 표준화된 태그셋과 협업 도구에 안내된 모국어 사용자가 얼마나 높은 품질의 태깅을 달성할 수 있는가?
• RQ4 여러 아랍어 방언에서의 형태학적 태깅이 부여된 코퍼스를 어떻게 체계화하고 공유하여 향후 NLP 연구를 지원할 수 있는가?
• RQ5 도메인 간 주요 형태학적, 어휘적, 음운학적 차이점(也門, 이라크, 리비아, 수단)이 NLP 처리에 어떤 영향을 미치는가?

주요 결과

• Lîsan̄는 네 종류의 아랍어 방언에서 총 120만 개의 완전히 태깅된 토큰을 포함하며, 이 중 110만 개는也門 방언에서 기인했고, 나머지 세 방언 각각은 5만 개 이상의 토큰을 차지함.
• 코퍼스에는 총 48,000건의 문서(트윗, 게시글, 댓글)가 포함되어 있으며, 이 중也門 코퍼스만으로도 고유한 어근 45,085개가 존재하여 상당한 어휘 다양성을 보여줌.
• 품질 제어를 통해 태깅 과정에서 높은 일관성을 달성함: 상호 태깅 일치도가 높은 태깅자들만 유지되었고, 모호한 경우에 대한 이관 제도로 정확도가 확보됨.
• ADAT는 SAMA, Curras 및 이전 태깅 결과에서 유사한 형태학적 해결책을 맥락 인식 기반으로 사전 제안함으로써 태깅 효율성을 크게 향상시킴.
• 코퍼스와 ADAT는 https://portal.sina.birzeit.edu/curras/ 에서 공개되어 있어 재현 가능한 연구와 향후 방언 NLP 개발을 지원함.
• 저자들은 현재 형태학적 기반을 바탕으로 명명된 실체 인식 및 의미 태깅이 부여된 어휘집을 확장할 계획임.