[논문 리뷰] Low resource language dataset creation, curation and classification: Setswana and Sepedi -- Extended Abstract

Vukosi Marivate, Tshephisho Joseph Sefara외 5명|arXiv (Cornell University)|2020. 03. 30.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 세츠와나어 및 세페디어 뉴스 헤드라인을 활용하여 저자원 언어 데이터셋을 생성하고 정제하며 분류하는 프레임워크를 제안한다. 데이터 증강 및 사전 훈련된 벡터라이저를 적용하여 분류 성능을 향상시켰다. 소규모 데이터셋에서 로지스틱 회귀와 XGBoost를 사용해 뚜렷한 성과를 거두었으며, 저자원 NLP 작업의 가능성을 입증한다.

ABSTRACT

The recent advances in Natural Language Processing have only been a boon for well represented languages, negating research in lesser known global languages. This is in part due to the availability of curated data and research resources. One of the current challenges concerning low-resourced languages are clear guidelines on the collection, curation and preparation of datasets for different use-cases. In this work, we take on the task of creating two datasets that are focused on news headlines (i.e short text) for Setswana and Sepedi and the creation of a news topic classification task from these datasets. In this study, we document our work, propose baselines for classification, and investigate an approach on data augmentation better suited to low-resourced languages in order to improve the performance of the classifiers.

연구 동기 및 목표

• 저자원 언어, 특히 남아프리카의 남부 지역에서 정제된 언어 자원의 부족을 해결한다.
• 세츠와나어 및 세페디어, 두 가지 저소비 언어인 남아프리카의 저소비 언어에 대한 주석이 부여된 뉴스 헤드라인 데이터셋을 생성한다.
• 정의된 주제(예: 정치, 스포츠, 범죄 등)에 따라 짧은 뉴스 헤드라인을 분류하는 분류 프레임워크를 개발한다.
• 저자원 언어에 적합한 데이터 증강 기법을 조사하여 분류기의 일반화 성능을 향상시킨다.
• 세츠와나어 및 세페디어 NLP 작업에 대한 향후 연구를 위한 기준 성능을 수립한다.

제안 방법

• SABC 라디오 방송국과 소셜 미디어에서 219개의 세츠와나어 뉴스 헤드라인과 491개의 세페디어 뉴스 헤드라인을 수집하였다.
• 헤드라인을 10개의 정의된 주제로 분류: 법적, 일반 뉴스, 스포츠, 기타, 정치, 교통 뉴스, 지역 활동, 범죄, 비즈니스, 외교.
• 단어어휘 코퍼스를 사용하여 여러 벡터라이저를 구축: Bag of Words, TF-IDF, Word2Vec, FastText를 통해 표현을 향상시켰다.
• 다양한 분류기(로지스틱 회귀, 서포트 벡터 분류, XGBoost, 다층 퍼셉트론)를 5겹 교차검증을 사용하여 훈련 및 평가하였다.
• 저자원 텍스트에서 모델 일반화를 향상시키기 위해 word2vec 기반 데이터 증강을 적용하였다.
• 위키피디아, 성경, JW300에서 사전 훈련된 임베딩을 사용하여 저어휘량 데이터셋의 벡터 표현을 향상시켰다.

실험 결과

연구 질문

• RQ1 세츠와나어 및 세페디어와 같은 저자원 언어를 위한 체계적인 데이터셋 생성 및 정제 프레임워크를 수립할 수 있는가?
• RQ2 TF-IDF, FastText 등의 다양한 벡터화 기법이 저자원 환경에서 짧은 뉴스 헤드라인을 얼마나 효과적으로 표현하는가?
• RQ3 word2vec 기반 데이터 증강이 소규모 저자원 데이터셋에서 분류 성능을 얼마나 향상시키는가?
• RQ4 세츠와나어 및 세페디어 뉴스 헤드라인 분류 작업에서 기존 기계학습 모델을 사용할 경우 기대할 수 있는 기준 성능는 어떠한가?
• RQ5 XGBoost와 MLP와 같은 다양한 분류기 간의 정확도 및 강건성 측면에서 성능를 비교하면 어떠한가?

주요 결과

• 연구는 219개의 세츠와나어 및 491개의 세페디어 뉴스 헤드라인을 포함한 주석이 부여된 두 개의 데이터셋을 성공적으로 생성하였다. 다양한 주제를 커버하였다.
• 로지스틱 회귀와 XGBoost는 두 데이터셋 모두에서 경쟁적인 성능를 기록하였으며, 향후 연구에 대한 강력한 기준이 되었다.
• word2vec 기반 데이터 증강은 특히 저어휘량 환경에서 분류기의 일반화 성능를 향상시켰다.
• 위키피디아, 성경 등 단어어휘 코퍼스에서 사전 훈련된 벡터라이저는 짧은 텍스트의 표현 학습을 향상시켰다.
• 이 프레임워크는 저자원 남아프리카 언어로 유사한 접근 방식을 확장하는 데 가능성을 보였다.
• 결과는 정제된 데이터와 맞춤형 벡터화의 중요성을 강조하며, 자원이 부족한 언어에서 NLP 발전을 위한 필수 요소임을 시사한다.