[논문 리뷰] Processing South Asian Languages Written in the Latin Script: the Dakshina Dataset

Brian Roark, Lawrence Wolf-Sonkin외 5명|arXiv (Cornell University)|2020. 07. 02.

Natural Language Processing Techniques참고 문헌 32인용 수 32

한 줄 요약

Dakshina 데이터세트는 라틴 문자와 원문 스크립트 텍스트를 12개 남아시아 언어에 제공하며, 로마자 표기 사전과 전체 문장 병렬 데이터를 포함하고, 기본단계의 음차(transliteration) 및 언어 모델링 결과를 제공합니다.

ABSTRACT

This paper describes the Dakshina dataset, a new resource consisting of text in both the Latin and native scripts for 12 South Asian languages. The dataset includes, for each language: 1) native script Wikipedia text; 2) a romanization lexicon; and 3) full sentence parallel data in both a native script of the language and the basic Latin alphabet. We document the methods used for preparation and selection of the Wikipedia text in each language; collection of attested romanizations for sampled lexicons; and manual romanization of held-out sentences from the native script collections. We additionally provide baseline results on several tasks made possible by the dataset, including single word transliteration, full sentence transliteration, and language modeling of native script and romanized text. Keywords: romanization, transliteration, South Asian languages

연구 동기 및 목표

• 새로운 자원(Dakshina)을 도입하여 12개 남아시아 언어의 라틴 문자 데이터와 원문 스크립트 데이터를 연결합니다.
• 각 언어에 대해 원문 스크립트 위키피디아 텍스트, 로마자 표기 사전, 전체 문장 병렬 데이터를 제공합니다.
• 위키피디아 텍스트 준비 방법, 로마자 표기 수집 방법, 보유 대상 문장의 수동 로마자 표기 과정을 문서화합니다.
• 원문 스크립트 및 로마자 텍스트에 대한 단어 단위 음차, 전체 문장 음차, 언어 모델링의 베이스라인 결과를 확립합니다.

제안 방법

• 원문 스크립트 위키피디아 텍스트, 로마자 표기 사전, 전체 문장 병렬 데이터의 구성을 설명합니다.
• 각 언어에 대해 위키피디아 텍스트를 선택하고 준비하는 절차를 개요로 제시합니다.
• 샘플 어휘의 수록 로마자 표기를 수집하는 절차를 설명합니다.
• 원문 스크립트 수집에서 보유 대상 문장의 수동 로마자 표기를 상세히 설명합니다.
• 원문 스크립트 및 로마자 텍스트에 대한 단어 음차(단어 단위)와 전체 문장 음차, 언어 모델링에 대한 베이스라인 실험을 제공합니다.

실험 결과

연구 질문

• RQ1 Dakshina가 각 언어에 대해 제공하는 데이터 자원(원문 텍스트, 로마자 표기 사전, 병렬 말뭉치)은 무엇입니까?
• RQ2 Dakshina 데이터세트를 원문 스크립트와 로마자 텍스트에 대해 사용할 때 기본 음차 및 언어 모델링 작업의 효과성은 얼마나 됩니까?
• RQ3 보유 대상 문장을 포함한 데이터세트를 준비하고 로마자 표기하는 방법과 품질 관리 절차는 무엇입니까?
• RQ4 Dakshina에서 서로 다른 언어와 스크립트에 걸친 음차 베이스라인의 성능은 어떻게 다릅니까?

주요 결과

• Dakshina는 12개 남아시아 언어에 대해 원문 스크립트 위키피디아 텍스트, 로마자 표기 사전, 전체 문장 병렬 데이터를 제공합니다.
• 이 논문은 위키피디아 텍스트의 준비 및 선택, 수록 로마자 표기의 수집, 보유 대상 문장의 수동 로마자 표기를 문서화합니다.
• 원문 스크립트와 로마자 텍스트에 대한 단어 단위 음차, 전체 문장 음차, 그리고 언어 모델링에 대한 베이스라인 결과를 확립합니다.