[논문 리뷰] A Large Scale Corpus of Gulf Arabic

Salam Khalifa, Nizar Habash외 2명|arXiv (Cornell University)|2016. 09. 09.

Natural Language Processing Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 1,200개의 포럼 소설에서 수집한 1억 1,000만 단어 분량의 대규모 고투어 아랍어(Gulf Arabic) 코퍼스인 Gumar 코퍼스를 소개한다. 이 코퍼스는 문서 수준에서 하위 방언 변이에 대해 주석 처리되어 있으며, 초보적인 형태소 주석 가이드라인을 제시하고, MADAMIRA의 고투어 아랍어 처리 성능을 평가한다. 그 결과, EGY 모델이 MSA 모델보다 정확도에서 4–13%p 높게 나타나, 향후 고투어 아랍어를 위한 자연어 처리(NLP) 도구 개발의 기반을 마련한다.

ABSTRACT

Most Arabic natural language processing tools and resources are developed to serve Modern Standard Arabic (MSA), which is the official written language in the Arab World. Some Dialectal Arabic varieties, notably Egyptian Arabic, have received some attention lately and have a growing collection of resources that include annotated corpora and morphological analyzers and taggers. Gulf Arabic, however, lags behind in that respect. In this paper, we present the Gumar Corpus, a large-scale corpus of Gulf Arabic consisting of 110 million words from 1,200 forum novels. We annotate the corpus for sub-dialect information at the document level. We also present results of a preliminary study in the morphological annotation of Gulf Arabic which includes developing guidelines for a conventional orthography. The text of the corpus is publicly browsable through a web interface we developed for it.

연구 동기 및 목표

• 자연어 처리(NLP) 분야에서 고투어 아랍어(GA)에 대해 대규모로 컴퓨터에서 사용 가능한 자원이 부족한 문제를 해결하기 위해.
• 포럼 소설에서 수집한 대규모로 웹 브라우징이 가능한 고투어 아랍어 코퍼스를 수집하고 공개하기 위해.
• 고투어 아랍어를 위한 철자 및 형태소 주석 가이드라인을 개발하고 평가하기 위해.
• 기존의 NLP 도구(MADAMIRA)가 고투어 아랍어를 처리하는 데서의 성능을 평가하고 오류 패턴을 규명하기 위해.
• 향후 고투어 아랍어의 방언 식별, 형태소 분석, 기계 번역 등 연구를 가능하게 하기 위해.

제안 방법

• Gulf Cooperation Council(GCC) 국가들에서 1,200개의 포럼 소설에서 고투어 아랍어의 성인 작성자들이 쓴 소설형 방언 콘텐츠에 중점을 두고 1억 1,000만 단어를 수집하였다.
• 문서 수준에서 하위 방언 정보(예: 에미리티, 사우디, 카타르)와 메타데이터(소설 제목, 저자)에 대해 주석 처리하였다.
• 기존의 MSA 및 Egyptians 아랍어 주석 가이드라인을 기반으로 고투어 아랍어를 위한 전통적 철자법과 형태소 주석 체계를 개발하였다.
• 제안된 가이드라인을 사용해 네 편의 소설에서 약 4,000단어를 수동 주석 처리하여 황금 표준(Gold Standard)을 확립하였다.
• 정확도 지표를 사용하여 황금 표준 수동 주석 처리 결과와 비교해 MADAMIRA의 자동 주석 처리 결과(각각 MSA 및 이집트 아랍어 모드)를 평가하였다.
• 전체 문맥, 품사(POS), 어간, 어형, 번역어, 소스 소설 정보를 포함한 웹 인터페이스를 구축하여 코퍼스를 브라우징할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 기존의 NLP 도구인 MADAMIRA가 고투어 아랍어를 처리하는 데 얼마나 효과적인가? MSA 모드와 이집트 아랍어 모드 간의 성능 차이는 어떠한가?
• RQ2 고투어 아랍어의 자동 형태소 및 품사 태깅에서 발생하는 주요 오류 원인은 무엇인가?
• RQ3 기존 프레임워크를 기반으로 고투어 아랍어를 위한 일관된 철자법 및 형태소 주석 체계를 개발할 수 있는가?
• RQ4 기존 도구인 MADAMIRA가 고투어 아랍어의 반자동 주석 처리를 위한 기준으로 활용될 수 있는가?
• RQ5 대규모로 공개 가능한 고투어 아랍어 코퍼스는 향후 방언 식별, 형태소 분석 등의 NLP 과제를 어떻게 지원할 수 있는가?

주요 결과

• MADAMIRA-EGY는 모든 평가 지표에서 MADAMIRA-MSA를 앞서며, 정확도에서 4.5~13.3%p 향상되었다.
• MADAMIRA-EGY에서 가장 흔한 오류 유형은 잘못된 품사 태깅이었으며, 특히 일반 명사나 형용사와 유사한 고유명사에 대해 발생했고, 전체 오류의 52.1%를 차지했다.
• 어간 오류는 전체 오류의 18.2%를 차지했으며, 어휘에 없는 단어 또는 철자 실수로 인한 오류는 16.5%를 차지했다.
• 토크나이제이션 오류(분할 또는 병합 오류 포함)는 약 13%의 오류를 차지했다.
• 4,000단어의 황금 표준 수동 주석 처리 결과에 따르면, MADAMIRA-EGY는 고투어 아랍어의 반자동 주석 처리를 위한 실질적인 기초로 활용될 수 있다.
• Gumar 코퍼스는 http://camel.abudhabi.nyu.edu/gumar/ 에서 공개된 웹 인터페이스를 통해 접근 가능하며, 어휘 주석이 포함된 전체 텍스트 검색이 가능하다.