[논문 리뷰] One Country, 700+ Languages: NLP Challenges for Underrepresented Languages and Dialects in Indonesia

Alham Fikri Aji, Genta Indra Winata외 10명|arXiv (Cornell University)|2022. 03. 24.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 인도네시아의 700개 이상의 소수어 및 방언에 대한 자연어 처리(NLP)의 과제를 조사하며, 데이터 부족, 언어적 다양성, 표준화 부족을 강조한다. 이를 바탕으로 정제된 데이터셋, 다국어 모델링, 공동체 기반 자원 개발을 통한 포괄적인 NLP 시스템 개발 프레임워크를 제안하며, 주요 기여로 기존 자원에 대한 종합적 설문조사와 저자원 언어 NLP를 위한 실행 가능한 권고안을 포함한다.

ABSTRACT

NLP research is impeded by a lack of resources and awareness of the challenges presented by underrepresented languages and dialects. Focusing on the languages spoken in Indonesia, the second most linguistically diverse and the fourth most populous nation of the world, we provide an overview of the current state of NLP research for Indonesia's 700+ languages. We highlight challenges in Indonesian NLP and how these affect the performance of current NLP systems. Finally, we provide general recommendations to help develop NLP technology not only for languages of Indonesia but also other underrepresented languages.

연구 동기 및 목표

• 인도네시아의 소수어에 대한 NLP 자원 부족과 연구 집중 부족 문제를 해결하기 위해, 세계에서 두 번째로 언어적으로 다양성이 높은 국가인 인도네시아의 상황을 다룬다.
• 현지 언어의 NLP에 있어 체계적인 과제, 즉 데이터 부족, 방언 변동성, 표준화 부족을 특정한다.
• 인도네시아어 및 현지 언어를 위한 NLP 데이터셋과 도구의 현재 상태를 평가하여 자원 가용성의 심각한 불균형을 드러낸다.
• 언어 다양성과 언어 보존을 지원하는 포괄적인 NLP 시스템 개발을 위한 실행 가능한 권고안을 제공한다.
• 다양성과 디지털 격차를 줄이기 위해 공동체 기반, 문화적으로 인지된 NLP 개발을 지지한다.

제안 방법

• 2000~2020년 동안 ACL Anthology에서 발표된 NLP 연구 논문을 종합적으로 조사하여 인도네시아어 NLP에서의 언어 표현 추세를 분석한다.
• Ethnologue 데이터를 활용해 인도네시아 내 언어의 분포를 맵핑하고, 어휘 수와 생존 상태(위험/멸종)에 따라 분류한다.
• 감성 분석, 명명된 실체 인식, 의존성 파싱 등을 위한 인도네시아어 및 현지 언어의 공개된 NLP 데이터셋과 도구를 수집하고 분석한다.
• 크기, 도메인, 언어 커버리지 측면에서 기존 데이터셋을 평가하여 심각한 격차를 특정한다 — 특히 10만 명 미만의 어휘 수를 가진 저자원 언어의 경우.
• 공동체 참여, 다국어 전이 학습, 표준화된 데이터 정제를 포함한 다각적 접근 방식을 제안한다.
• 정제된 저자원 데이터셋에 맞춰 미세조정된 다국어 모델(mBERT, XLM-R 등)의 사용을 권고하여 소수어에 대한 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 왜 인도네시아의 언어 다양성에도 불구하고 NLP 연구가 인도네시아어와 몇몇 주요 현지 언어에 집중되어 있는가?
• RQ2 어떻게 언어적 특성과 데이터 관련 과제들이 인도네시아의 소수어에 대한 NLP 성능을 저해하는가?
• RQ3 방언의 변동성과 표준화 부족은 기존 NLP 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 현재 공개된 인도네시아 현지 언어의 NLP 데이터셋과 도구의 상태는 어떠한가?
• RQ5 다국어, 저자원 환경에서 소수어에 대한 NLP 접근성과 성능을 향상시키기 위한 전략은 무엇인가?

주요 결과

• 20년 간 ACL Anthology에 700개 이상의 인도네시아어 언어 중 15개만 100편 이상의 논문을 기록하여, NLP 연구에서의 심각한 부재를 보여준다.
• 자기어(8400만 명의 어휘 수)와 수다네세어(3400만 명의 어휘 수)는 어휘 수에 비해 NLP 문헌에서 매우 부족하게 다뤄지고 있다.
• 700개 이상의 언어 중 440개는 멸종 위험에 처해 있고 12개는 이미 멸종된 것으로 분류되며, 많은 언어들이 공식 문서화되거나 표준 철자법이 없어진 상태이다.
• 현지 언어 중 가장 큰 공개 데이터셋(자기어)도 문장 수가 125개에 불과하며, 대부분의 현지 언어 데이터셋은 1,000문장 이하이다.
• 현지 언어 NLP 데이터셋 14개 중 12개는 100~1,000문장 범위에 속해 있으며, 어떤 현지 언어에 대해서도 10,000문장을 초과하는 데이터셋은 존재하지 않는다.
• 기존 NLP 도구인 Sastrawi, Pujangga, MALINDO Morph는 모두 인도네시아어에 국한되어 있으며, 기본적인 어간 추출과 토크나이저를 초과해 널리 쓰이는 현지 언어 전용 도구는 없다.