[논문 리뷰] Investigating an approach for low resource language dataset creation, curation and classification: Setswana and Sepedi

Vukosi Marivate, Tshephisho Joseph Sefara외 5명|arXiv (Cornell University)|2020. 02. 18.

Natural Language Processing Techniques참고 문헌 16인용 수 10

한 줄 요약

이 논문은 세츠와나어와 세페디어 뉴스 헤드라인을 활용하여 저자원 언어 데이터셋을 생성, 총괄 및 분류하는 프레임워크를 제안한다. 단어2vec 기반의 데이터 증강과 문서2vec 품질 검사를 통해 분류기 성능을 향상시켰으며, 훈련 데이터가 제한된 세페디어에서도 개선된 성능을 달성했고, 두 언어에 대한 사전 학습된 단어 임베딩도 공개한다.

ABSTRACT

The recent advances in Natural Language Processing have been a boon for well-represented languages in terms of available curated data and research resources. One of the challenges for low-resourced languages is clear guidelines on the collection, curation and preparation of datasets for different use-cases. In this work, we take on the task of creation of two datasets that are focused on news headlines (i.e short text) for Setswana and Sepedi and creation of a news topic classification task. We document our work and also present baselines for classification. We investigate an approach on data augmentation, better suited to low resource languages, to improve the performance of the classifiers

연구 동기 및 목표

• 세츠와나어와 세페디어와 같은 저자원 아프리카어에 대해 정제되고 주석이 달린 데이터셋의 부족 문제를 해결한다.
• 저자원 언어의 뉴스 헤드라인에 대한 데이터셋 생성, 총괄 및 주제 분류를 위한 체계적인 접근법을 개발한다.
• 저자원 NLP에 특화된 새로운 이중 단계 데이터 증강 전략을 통해 소규모 훈련 세트에서 분류기 성능을 향상시킨다.
• 저자원 NLP 작업을 위한 후속 작업을 지원하기 위해 세츠와나어와 세페디어에 대한 사전 학습된 단어 임베딩을 공개한다.
• 연구자들이 다른 저자원 언어에 대해 유사한 데이터셋과 모델을 구축할 수 있도록 재현 가능한 파이프라인을 제공한다.

제안 방법

• SABC 뉴스 웹사이트와 소셜 미디어에서 세츠와나어와 세페디어를 중심으로 뉴스 헤드라인을 수집했다.
• 사전 정의된 뉴스 카테고리(예: 정치, 일반, 법적)로 수집된 헤드라인을 주석 처리했다.
• 수집된 데이터 기반으로 word2vec 모델을 훈련시어 두 언어에 대한 사전 학습된 단어 임베딩을 생성했다.
• 이중 단계 데이터 증강 기법을 적용했다: 첫 번째로, word2vec 유사도를 활용해 의미적으로 유사한 단어로 단어를 대체했고, 두 번째로, 문서2vec를 사용해 증강된 샘플을 필터링하여 의미 일관성을 유지했다.
• 원본 문장 임베딩과 증강된 문장 임베딩 간의 코사인 유사도 임계값을 사용해 증강 예제의 품질을 확보했다.
• Bag-of-Words, TF-IDF, word2vec 특징 표현 방식을 사용해 증강 여부에 관계없이 여러 분류기(XGBoost, SVM, 로지스틱 회귀)를 훈련하고 평가했다.

실험 결과

연구 질문

• RQ1 어떻게 저자원 아프리카어 언어에서 데이터셋 생성 및 총괄을 위한 확장 가능하고 재현 가능한 프레임워크를 설계할 수 있는가?
• RQ2 word2vec 기반의 데이터 증강은 세츠와나어와 세페디어와 같은 저자원 환경에서 뉴스 헤드라인 분류 성능에 어느 정도 향상시키는가?
• RQ3 doc2vec 기반의 품질 검사는 낮은 유사도를 가진 증강 샘플을 효과적으로 걸러내어 모델의 일반화 능력을 향상시키는가?
• RQ4 Bag-of-Words, TF-IDF, word2vec 등의 다양한 특징 표현 방식은 소규모 데이터셋에서 뉴스 주제 분류 성능에 어떻게 영향을 미치는가?
• RQ5 데이터 편향과 제한된 데이터 크기가 분류기 성능에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 word2vec 기반의 데이터 증강은 세페디어 데이터셋에서 분류기 성능을 향상시켰으며, 증강된 데이터에서 XGBoost를 사용할 때 최고의 성능을 기록했다.
• 증강 파이프라인에 doc2vec 기반의 품질 검사를 통합함으로써 세페디어에서 성능이 추가로 향상되었으며, 이는 증강 예제의 의미 일관성이 향상되었음을 시사한다.
• word2vec 특징 벡터(예: 평균 풀링)를 사용한 성능은 TF-IDF 및 BoW 기반 모델보다 略로 떨어졌으며, 이는 최적의 특징 학습을 위해 더 고급 아키텍처가 필요할 수 있음을 시사한다.
• 혼동 행렬을 분석한 결과, 모델은 일반 뉴스, 정치, 법적 뉴스 카테고리에서 가장 잘 작동했지만, 다른 클래스에서는 어려움을 겪었으며, 이는 클래스 불균형 문제와 재표본화 필요성을 시사한다.
• 세츠와나어 데이터셋의 데이터 편향으로 인해 모델이 일반 뉴스 및 기타 카테고리에 과적합되는 경향을 보였으며, 이는 데이터 균형 조절 기법의 필요성을 강조한다.
• 본 연구는 세츠와나어와 세페디어에 대한 사전 학습된 단어 임베딩을 성공적으로 공개하여, 향후 이 언어들에 대한 NLP 연구에 유용한 자원을 제공했다.