[논문 리뷰] yosm: A new yoruba sentiment corpus for movie reviews

Iyanuoluwa Shode, David Ifeoluwa Adelani외 1명|arXiv (Cornell University)|2022. 04. 20.

Sentiment Analysis and Opinion Mining인용 수 12

한 줄 요약

이 논문은 영어에서 요르바어로 수작업으로 번역된 첫 번째 요르바어 감성 분석 코퍼스인 YOSM를 소개한다. AfriBERTa와 mBERT와 같은 최신 기술 모델을 미세조정 및 전이 학습을 통해 평가하였으며, 요르바어 데이터셋에서 최대 87.2의 F1 스코어를 기록하였다. 이는 인간이 애너테이션한 데이터가 부족한 저자원 언어 NLP 환경에서 기계 번역된 리뷰가 효과적으로 활용될 수 있음을 보여준다.

ABSTRACT

A movie that is thoroughly enjoyed and recommended by an individual might be hated by another. One characteristic of humans is the ability to have feelings which could be positive or negative. To automatically classify and study human feelings, an aspect of natural language processing, sentiment analysis and opinion mining were designed to understand human feelings regarding several issues which could affect a product, a social media platforms, government, or societal discussions or even movies. Several works on sentiment analysis have been done on high resource languages while low resources languages like Yoruba have been sidelined. Due to the scarcity of datasets and linguistic architectures that will suit low resource languages, African languages "low resource languages" have been ignored and not fully explored. For this reason, our attention is placed on Yoruba to explore sentiment analysis on reviews of Nigerian movies. The data comprised 1500 movie reviews that were sourced from IMDB, Rotten Tomatoes, Letterboxd, Cinemapointer and Nollyrated. We develop sentiment classification models using the state-of-the-art pre-trained language models like mBERT and AfriBERTa to classify the movie reviews.

연구 동기 및 목표

• 아프리카어 중 특히 요르바어에 대해 영화 리뷰 분야에서 감성 분석 자원이 부족한 문제를 해결하기 위해.
• 니골리드 영화 리뷰를 위한 첫 번째 수작업으로 정제된 요르바어 감성 코퍼스(YOSM)를 구축하기 위해.
• mBERT 및 AfriBERTa와 같은 사전 훈련된 언어 모델이 저자원 요르바어 텍스트에서 어떻게 성능을 내는지 평가하기 위해.
• 영어 니골리드 리뷰와 기계 번역된 요르바어 데이터를 활용한 전이 학습의 효과성을 조사하기 위해.
• 저자원 환경에서 훈련 데이터의 대체로 자동 기계 번역(예: 구글 번역)의 유용성을 평가하기 위해.

제안 방법

• IMDB, Rotten Tomatoes, Letterboxd, Cinemapointer, Nollyrated 다섯 개 소스에서 균형 잡힌 1,500개의 영화 리뷰를 수집하였다.
• 모든 영어 리뷰를 모국어 요르바어 사용자들이 수작업으로 요르바어로 번역하여 고품질 병렬 데이터셋을 구축하였다.
• 모델 평가를 위해 데이터셋을 800개 훈련, 200개 개발, 500개 테스트 샘플로 분할하였다.
• YOSM 데이터셋에 대해 mBERT, AfriBERTa, 그리고 mBERT에 언어 적응형 미세조정(LAFT)을 적용하여 훈련하였다.
• IMDB 및 영어 니골리드 리뷰를 포함한 영어 데이터셋에서의 제로샷 및 피어샷 다국어 전이 학습을 평가하였다.
• 자동 번역 품질 평가를 위해 Google 번역 출력물의 BLEU 점수를 사용하였으며, 낮은 점수인 3.36을 기록하였다.

실험 결과

연구 질문

• RQ1 작은 애너테이션된 데이터셋을 바탕으로 최신 사전 훈련된 언어 모델이 저자원 요르바어 감성 분류 작업에서 높은 성능을 내는가?
• RQ2 영어 니골리드 리뷰에서의 전이 학습이 할리우드 리뷰(예: IMDB)에서의 전이 학습보다 요르바어 감성 분석에서 얼마나 효과적인가?
• RQ3 기계 번역된 요르바어 리뷰가 저자원 NLP 작업에서 인간 애너테이션 데이터의 실질적인 대체로 활용될 수 있는 정도는 어느 정도인가?
• RQ4 언어 적응형 미세조정(LAFT)을 사용해 mBERT를 미세조정하면 표준 미세조정보다 요르바어 감성 분류 성능이 향상되는가?
• RQ5 인간 애너테이션 요르바어 리뷰와 자동 번역된 리뷰 간의 감성 분류 성능 격차는 어느 정도인가?

주요 결과

• AfriBERTa를 YOSM에 대해 미세조정한 결과, F1 스코어 87.2를 기록하여 저자원 요르바어 감성 분류 작업에서 뛰어난 성능을 보였다.
• mBERT+LAFT는 86.2 F1을 기록하여 표준 mBERT(83.2 F1)를 초월하였으며, 이는 요르바어에 대해 언어 적응형 미세조정이 유용함을 보여준다.
• 영어 니골리드 리뷰에서의 전이 학습은 IMDB에서의 전이 학습보다 성능이 뛰어나 2.4~5.5 F1 향상이 있었으며, 이는 도메인 특화 전이 학습이 더 효과적임을 시사한다.
• 기계 번역된 요르바어 리뷰(yo:MT)로 훈련한 결과 F1 스코어 77.1을 기록하였고, 영어 리뷰와 병합한 결과(eno+yo:MT)는 77.9 F1을 기록하여 자동 번역의 실용적 유용성을 입증하였다.
• 인간 번역과 기계 번역 간 BLEU 점수 3.36은 Google 번역 출력 품질이 열악함을 시사하지만, 여전히 전이 학습을 지원할 수 있음을 보여준다.
• 최고의 성능은 YOSM에 대해 미세조정된 AfriBERTa에서 기록되었으며, mBERT 및 mBERT+LAFT를 모두 앞서며 아프리카어를 사전 훈련한 모델의 우수성을 입증한다.