[논문 리뷰] Shamela: A Large-Scale Historical Arabic Corpus

Yonatan Belinkov, Alexander Magidow외 3명|arXiv (Cornell University)|2016. 12. 28.

Islamic Finance and Banking Studies참고 문헌 19인용 수 15

한 줄 요약

이 논문은 1,400년에 걸쳐 작성된 10억 단어 분량의 역사적 아랍어 어휘자료인 Shamela를 소개한다. 이 자료는 Al-Maktaba Al-Shamela 디지털 도서관에서 유래되었으며, 저자들은 자료를 정제하고, 어형 분석을 수행하며, 자동 텍스트 연대 측정 및 병렬 문장 검출 기능을 추가하여 아랍어 언어의 진화에 관한 대규모 디지털 인문학 및 NLP 연구를 가능하게 하였다. 주요 발견으로는 아랍어 어휘의 평균 수명이 1,124년으로, 영어 어휘보다 훨씬 길다는 점이다.

ABSTRACT

Arabic is a widely-spoken language with a rich and long history spanning more than fourteen centuries. Yet existing Arabic corpora largely focus on the modern period or lack sufficient diachronic information. We develop a large-scale, historical corpus of Arabic of about 1 billion words from diverse periods of time. We clean this corpus, process it with a morphological analyzer, and enhance it by detecting parallel passages and automatically dating undated texts. We demonstrate its utility with selected case-studies in which we show its application to the digital humanities.

연구 동기 및 목표

• written Arabic의 전반적인 기간을 다루는 대규모로 역사적으로 주석이 달린 아랍어 어휘자료의 부족을 해결하기 위해.
• 14세기에 걸친 아랍어에 대한 코퍼스 기반의 역사어학적 분석을 가능하게 하기 위해.
• 아랍어 문화사 및 지적 사상사에 관한 디지털 인문학 연구를 지원하기 위해.
• 개선된 메타데이터와 정규화를 통해 역사적 아랍어 텍스트를 위한 NLP 응용을 향상시키기 위해.
• 저자원 역사적 언어에서의 텍스트 연대 측정 및 병렬 문장 검출을 위한 확장 가능한 계산 방법을 개발하기 위해.

제안 방법

• 대규모 공공 아카이브인 Al-Maktaba Al-Shamela 웹사이트에서 약 10억 단어를 추출하였다.
• 자동 텍스트 정제 및 반자동 메타데이터 보강(연대 레이블 포함)을 수행하였다.
• 모든 단어에 대해 형태소 분석기를 적용하여 어형 분석을 수행함으로써 의미적 및 문법적 분석을 가능하게 하였다.
• 언어 모델링을 활용하여 1,200개의 연대 미기재 텍스트를 높은 정확도로 자동으로 연대 측정하였다.
• 계산적으로 효율적인 알고리즘을 구현하여 어휘자료 전반에 걸쳐 약간의 유사성을 가진 병렬 문장을 탐지하였으며, 자주 반복되는 내용은 필터링하였다.
• 사례 연구 및 Concordance 분석을 통해 결과를 정량적 및 정성적으로 검증하였다.

실험 결과

연구 질문

• RQ1 비교 가능한 역사적 기간 동안 아랍어 어휘의 수명은 영어 어휘와 어떻게 비교되는가?
• RQ2 자동 언어 모델링을 통해 다양한 역사적 시기에서 연대가 기재되지 않은 아랍어 텍스트를 얼마나 정확하게 연대 측정할 수 있는가?
• RQ3 대규모 역사적 아랍어 어휘자료에서 어떤 종류의 병렬 문장이 존재하는가? 그리고 이는 텍스트 재사용 또는 영향을 어떻게 반영하는가?
• RQ4 이 어휘자료는 아랍어 어휘의 의미 변화 탐지에 어떻게 기여할 수 있는가? 예를 들어, 'ḥawālay'가 물리적 거리에서 수치적 근사로의 변화 과정을 어떻게 반영하는가?
• RQ5 계산 방법은 저자원 역사적 언어에서의 역사적 어휘자료를 어떻게 디지털 인문학 및 NLP 연구에 보다 효과적으로 향상시킬 수 있는가?

주요 결과

• 아랍어 어형의 평균 수명은 1,124년이다(표준편차: 338년, 중앙값: 1,222년), 이는 어휘자료 전체 시간 범위의 약 83%에 해당한다.
• 반면, COHA에서의 영어 어휘 평균 수명은 68년(표준편차: 58, 중앙값: 60)이며, 어휘자료 전체 시간 범위의 약 36%에 해당한다.
• 'ḥawālay'라는 단어는 1201년경부터 물리적 거리의 의미로 사용되었으며, 중세 시대에 이미 수치적 근사 의미로 사용되고 있었음을 확인하여 현대적 혁신이라는 주장에 반박된다.
• 병렬 문장 검출 알고리즘이 20단어 이상의 문장 쌍 중 500만 개 이상의 매칭을 식별하였으며, 자주 반복되는 1,860만 단어의 내용은 필터링하였다.
• 자동 텍스트 연대 측정 모델은 정량적 및 정성적 검증을 통해 높은 품질의 결과를 도출하였으며, 연대 미기재 텍스트의 시간적 해상도를 향상시켰다.
• 어휘자료는 GitHub의 RAWrabica 컬렉션에서 공개되어 있으며, 재현 가능성과 향후 연구를 지원한다.