[논문 리뷰] AI4D -- African Language Program

Kathleen Siminyu, Godson Kalipe외 16명|arXiv (Cornell University)|2021. 04. 06.

Natural Language Processing Techniques참고 문헌 12인용 수 10

한 줄 요약

AI4D - 아프리카어 프로그램은 아프리카어에 대한 NLP 자원의 부족을 해결하기 위해 세 가지 구성 요소로 이루어진 이니셔티브를 시행한다: 다국어 데이터셋의 커뮤니티 기반 수집 및 코딩, 작업자들이 태스크에 맞춰 주석을 달 수 있는 데이터셋을 만드는 연구원 지원, 기계학습 경진대회 개최. 이 프로그램은 9개 이상의 오픈소스로 제공되는, 다양한 NLP 작업(의도 탐지, 명명된 실체 인식, 감성 분석 등)에 주석이 달린 데이터셋과 베이스라인 모델을 생산하여 저자원 아프리카어의 NLP 발전에 기여하였다.

ABSTRACT

Advances in speech and language technologies enable tools such as voice-search, text-to-speech, speech recognition and machine translation. These are however only available for high resource languages like English, French or Chinese. Without foundational digital resources for African languages, which are considered low-resource in the digital context, these advanced tools remain out of reach. This work details the AI4D - African Language Program, a 3-part project that 1) incentivised the crowd-sourcing, collection and curation of language datasets through an online quantitative and qualitative challenge, 2) supported research fellows for a period of 3-4 months to create datasets annotated for NLP tasks, and 3) hosted competitive Machine Learning challenges on the basis of these datasets. Key outcomes of the work so far include 1) the creation of 9+ open source, African language datasets annotated for a variety of ML tasks, and 2) the creation of baseline models for these datasets through hosting of competitive ML challenges.

연구 동기 및 목표

• 저자원 아프리카어를 위한 기초 언어 자원을 만들음으로써 NLP 분야의 디지털 격차를 해소한다.
• 아프리카어 NLP 개발을 저해하는 주석이 달린 데이터셋의 부족 문제를 해결한다.
• 아프리카 연구자들과 기관이 자신의 언어를 위한 언어 기술 개발을 주도할 수 있도록 한다.
• 참여적이고 협력적인 프레임워크를 통해 지속 가능한 공동체 기반 데이터 생태계를 조성한다.
• 교육, 의료, 거버넌스 분야에서 다국어 AI 도구를 발전시켜 사회경제적 발전을 지원한다.

제안 방법

• 아프리카어 커뮤니티에서 언어 데이터셋을 커뮤니티 기반으로 수집하고 코딩하기 위한 정량적·정성적 경진대회를 기획하였다.
• 의도 탐지, 명명된 실체 인식 등의 NLP 작업을 위한 고품질 태스크 주석이 달린 데이터셋을 제작하기 위해 전문가 대상 3~4개월 간의 연구원 지원을 제공하였다.
• 정제된 데이터셋을 활용해 기계학습 경진대회를 개최하여 베이스라인 모델을 훈련하고 평가하였다.
• 데이터 지속 가능성과 재사용을 보장하기 위해 FAIR 원칙(Findable, Accessible, Interoperable, Reusable)을 적용하였다.
• 내용 제작자, 번역가, 코디네이터, 평가자 등 다양한 이해관계자가 참여하는 参여형 프레임워크를 개발하여 데이터 개발의 스케일링을 도모하였다.
• 장기적인 데이터 거버넌스 및 협업을 이끌 가이드라인으로 베르크먼 클라인 센터 모델을 영감으로 삼은 데이터 컨소시엄 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 저자원 아프리카어를 체계적으로 수집하고 고도로 주석이 달린 NLP 작업용 데이터셋으로 정제하는 방법은 무엇인가?
• RQ2 지속 가능하게 아프리카어 데이터셋의 제작과 공유를 지원할 수 있는 제도적·기술적 프레임워크는 무엇인가?
• RQ3 연구원 지원과 경쟁적 기계학습 경진대회를 통해 아프리카어의 베이스라인 모델 개발을 어떻게 가속화할 수 있는가?
• RQ4 참여적이고 다수 이해관계자가 참여하는 모델은 아프리카어의 언어 기술 개발을 어떻게 확장시킬 수 있는가?
• RQ5 데이터 컨소시엄 프레임워크는 아프리카의 다양한 법적 관할권에서 대표성, 공정성, 데이터 보호법 준수를 어떻게 확보할 수 있는가?

주요 결과

• 이 프로그램은 의도 탐지, 명명된 실체 인식, 감성 분석 등의 다양한 NLP 작업에 주석이 달린 9개 이상의 오픈소스 다국어 데이터셋을 성공적으로 제작하였다.
• 경쟁적 경진대회를 통해 베이스라인 기계학습 모델이 개발되어 향후 연구 및 도구 개발의 기초가 되었다.
• 연구원들은 언어 전문가 및 기관 네트워크를 구축하여 협업 강화와 데이터 품질 향상에 기여하였다.
• 이니셔티브는 데이터 컨소시엄을 유지하고 확장하기 위해 지속적인 자금과 기술 인프라가 필요하다는 점을 드러내었다.
• 아프리카 커뮤니케이션에서의 코드 스위칭과 다국어성은 혼합 언어 처리가 가능한 새로운 NLP 도구가 필요하다는 점을 밝혀냈다.
• 아프리카의 다양한 관할권 간 데이터 공유를 위한 법적·정책적 프레임워크는 아직 부족하며, 국경을 초월한 협업을 지원하기 위해 긴급히 점검이 필요하다.