[논문 리뷰] Semantic Enrichment of Nigerian Pidgin English for Contextual Sentiment Classification

Wuraola Fisayo Oyewusi, Olubayo Adekanmbi외 1명|arXiv (Cornell University)|2020. 03. 27.

Sentiment Analysis and Opinion Mining참고 문헌 8인용 수 15

한 줄 요약

이 논문은 VADER 감성 사전에 300개의 피지진 전용 감성 토큰을 추가하고 14,000개의 피지진 트윗을 감성 레이블링하여 나이지리아 피지진 영어의 의미적 풍부함을 향상시킨다. 인간 레이블링 데이터가 제한되어 있음을 고려해 합성된 코드 스위칭 텍스트를 보완하고 전문가가 검증한 레이블을 통해 감성 점수를 보정함으로써, 업데이트된 사전은 원래 VADER 모델에 비해 문맥 기반 감성 분류 정확도를 크게 향상시켰으며, 특히 코드 믹스된 소셜 미디어 콘텐츠에서 국지화된 의미적 이동을 잘 포착한다.

ABSTRACT

Nigerian English adaptation, Pidgin, has evolved over the years through multi-language code switching, code mixing and linguistic adaptation. While Pidgin preserves many of the words in the normal English language corpus, both in spelling and pronunciation, the fundamental meaning of these words have changed significantly. For example,'ginger' is not a plant but an expression of motivation and 'tank' is not a container but an expression of gratitude. The implication is that the current approach of using direct English sentiment analysis of social media text from Nigeria is sub-optimal, as it will not be able to capture the semantic variation and contextual evolution in the contemporary meaning of these words. In practice, while many words in Nigerian Pidgin adaptation are the same as the standard English, the full English language based sentiment analysis models are not designed to capture the full intent of the Nigerian pidgin when used alone or code-mixed. By augmenting scarce human labelled code-changed text with ample synthetic code-reformatted text and meaning, we achieve significant improvements in sentiment scoring. Our research explores how to understand sentiment in an intrasentential code mixing and switching context where there has been significant word localization.This work presents a 300 VADER lexicon compatible Nigerian Pidgin sentiment tokens and their scores and a 14,000 gold standard Nigerian Pidgin tweets and their sentiments labels.

연구 동기 및 목표

• 표준 영어 감성 모델이 의미의 이동과 코드 믹스 현상으로 인해 나이지리아 피지진에서 성능이 열악한 데 기인한 문제를 해결하기 위해.
• 문맥적으로 진화한 단어 의미를 포착할 수 있는 VADER 호환 피지진 전용 사전을 개발하기 위해.
• 감성 레이블이 부여된 14,000개의 인간 레이블링된 나이지리아 피지진 트윗으로 구성된 골드 표준 데이터셋을 구축하기 위해.
• 합성 데이터 증강과 의미적 풍부함을 통한 보완을 통해 문장 내 코드 스위칭 상황에서의 감성 분류 성능을 향상시키기 위해.
• 전문가가 레이블링한 감성 레이블이 국지화된 피지진 표현에서 미묘한 감성을 포착하는 데에 규칙 기반 모델보다 우수함을 검증하기 위해.

제안 방법

• 표준 영어에서 나이지리아 피지진으로 300개의 감성 토큰을 번역하여 VADER 사전을 확장함으로써 의미의 이동을 고려하였다.
• 실제 피지진 트윗 데이터가 제한되어 있으므로 합성된 코드 스위칭 텍스트를 생성하여 모델의 일반화 능력을 향상시켰다.
• 업데이트된 VADER 사전을 활용해 14,000개의 나이지리아 피지진 트윗에 대해 복합 감성 점수를 계산하였다.
• 전문가가 레이블링한 골드 표준 레이블과 비교하여 원래 VADER 모델과 업데이트된 VADER 모델의 감성 예측을 평가하였다.
• 사용자 레이블링된 감성 레이블을 기준으로 하여 업데이트된 사전의 성능을 평가하고 개선하였다.
• 단일 언어 텍스트에서 합성된 코드 스위칭 텍스트로 레이블 전이 기법을 적용하여 감성 레이블링 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 표준 영어에 비해 나이지리아 피지진 단어의 의미적 진화를 포착하기 위해 VADER 호환 감성 사전을 어떻게 확장할 수 있는가?
• RQ2 300개의 피지진 전용 감성 토큰을 포함시킬 경우, 코드 믹스된 소셜 미디어 텍스트에서 감성 분류 정확도가 얼마나 향상되는가?
• RQ3 규칙 기반 모델의 감성 점수는 국지화된 피지진 표현에서 문맥적으로 미묘한 감성을 포착하는 데 인간 레이블링과 비교해 어떻게 다를까?
• RQ4 합성 데이터 증강이 나이지리아 피지잔과 같은 저자원, 코드 믹스된 언어 환경에서 감성 레이블링 성능을 효과적으로 향상시킬 수 있는가?
• RQ5 표준 영어 감성 사전이 나이지리아 소셜 미디어에서 감성 분석에 효과가 없게 만드는 피지잔 영어의 주요 의미적 이동은 무엇인가?

주요 결과

• 300개의 피지진 전용 감성 토큰을 포함한 업데이트된 VADER 사전은 원래 VADER 모델보다 유의미하게 높은 감성 분류 성능을 보였다.
• 문장 'som teams get black, som get purple but no one fine reach our jersey wey blue'의 감성 점수는 -0.1154(부정)에서 0.7964(긍정)로 향상되어 전문가 레이블과 일치하였다.
• 문장 'Na to delete am'은 사전 업데이트 후 중립(0.0000)에서 부정(-0.6908)으로 재분류되었으며, 전문가 레이블과 일치하였다.
• 문장 'Why greenwood dey play nw?ole you don start'는 긍정(0.3400)에서 부정(-0.2500)으로 재분류되었으며, 전문가 판단을 정확히 반영하였다.
• 업데이트된 사전은 특히 '감사'를 의미하는 'tank'이나 '동기 부여'를 의미하는 'ginger'와 같은 문맥적으로 미묘한 표현을 포착하는 데서 인간 레이블링과의 일치도가 향상되었다.
• 전문가가 레이블링한 레이블은 의미의 이동를 포착하는 데에 규칙 기반 감성 점수보다 뛰어나며, 코드 믹스된 환경에서 언어별 감성 사전의 필요성을 강조한다.