[논문 리뷰] Sentiment Identification in Code-Mixed Social Media Text

Souvick Ghosh, Satanu Ghosh외 1명|arXiv (Cornell University)|2017. 07. 04.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 36

한 줄 요약

이 논문은 영어와 베ング랄어로 된 이중어 혼합 소셜 미디어 텍스트를 대상으로 한 최초의 기계학습 기반 감성 분류기이다. 단어 수준, 의미적, 문법적 특징을 갖춘 다층 퍼셉트론을 사용하여, 감성 분류 정확도가 68.5%에 달하며, 품사 태그와 극성 미소 이모티콘 목록이 가장 영향력 있는 특징으로 나타났다.

ABSTRACT

Sentiment analysis is the Natural Language Processing (NLP) task dealing with the detection and classification of sentiments in texts. While some tasks deal with identifying the presence of sentiment in the text (Subjectivity analysis), other tasks aim at determining the polarity of the text categorizing them as positive, negative and neutral. Whenever there is a presence of sentiment in the text, it has a source (people, group of people or any entity) and the sentiment is directed towards some entity, object, event or person. Sentiment analysis tasks aim to determine the subject, the target and the polarity or valence of the sentiment. In our work, we try to automatically extract sentiment (positive or negative) from Facebook posts using a machine learning approach.While some works have been done in code-mixed social media data and in sentiment analysis separately, our work is the first attempt (as of now) which aims at performing sentiment analysis of code-mixed social media text. We have used extensive pre-processing to remove noise from raw text. Multilayer Perceptron model has been used to determine the polarity of the sentiment. We have also developed the corpus for this task by manually labeling Facebook posts with their associated sentiments.

연구 동기 및 목표

• 코드 혼합 소셜 미디어 텍스트, 특히 영어-베نغ랄어 병행 텍스트에 대한 감성 분석 도구의 부족을 해결한다.
• 감성 극성(긍정, 부정, 중립)을 수동으로 주석 처리한 565개의 골드 표준 데이터셋을 구축한다.
• 비공식적이고 노이즈가 많은 코드 혼합 소셜 미디어 텍스트에 특화된 특징 공학을 통해 감성 분류 성능을 향상시킨다.
• 단어 수준, 의미적, 문법적, 스타일 특징의 다양성 등이 감성 분류 정확도에 미치는 영향을 조사한다.
• 저자원 다국어 소셜 미디어 텍스트에서의 비유도, 부정, 맥락 전환 등의 과제를 극복한다.

제안 방법

• 노이즈 제거, 철자 정규화, 약어 번역을 수행한 882개의 Facebook 게시물을 수집하고 전처리했다.
• 두 명의 인간 평가자가 감성 극성에 대해 라벨링한 후, 일치도가 확보된 565개의 게시물만 유지하여 골드 표준 데이터셋을 구성했다 (카파 = 0.4354).
• 단어 수준 특징(예: 감성 어휘집), 의미적 특징(예: SWN, OL, ESW, BSW, CBW), 문법적 특징(품사 태그: JJ, RB, RB_JJ), 스타일 특징(예: UW, E, Q, R, CS, S1, S2)을 추출했다.
• 이러한 특징의 조합을 사용하여 감성 극성 분류를 위한 다층 퍼셉트론(MLP) 모델을 훈련시켰다.
• 정확도, 정밀도, 재현도, F-측정치를 사용해 성능을 평가하였으며, 특징의 영향을 평가하기 위해 추출 분석(ablation study)를 실시했다.
• 반복적인 특징 추가 및 개별 특징 제거를 통해 분류에 가장 영향을 미치는 특징을 규명했다.

실험 결과

연구 질문

• RQ1 기본 모델 대비 다층 퍼셉트론 모델이 코드 혼합 소셜 미디어 텍스트의 감성 분류에 얼마나 효과적인가?
• RQ2 단어 수준, 의미적, 문법적, 스타일 특징의 조합 중에서 감성 분류 정확도가 가장 높은 조합은 무엇인가?
• RQ3 스타일 기반 특징(예: 대문자 단어, 이모티콘)을 포함시키는 것이 분류 성능에 어떤 영향을 미치는가?
• RQ4 개별 특징은 분류에 어떻게 기여하며, 정확한 감성 탐지에 있어 가장 핵심적인 특징은 무엇인가?
• RQ5 모델의 성능이 중립 감성에 대해 얼마나 편향되어 있으며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 최고의 성능을 보인 모델은 단어 기반 특징(그룹 1)과 문법적 특징(그룹 2)의 조합을 사용하여 68.5%의 정확도를 달성했으며, 기준 모델(55.2% 정확도)을 능가했다.
• 스타일 기반 특징(UW, E, Q, R, CS)을 포함시키면 정확도가 감소하여, 코드 혼합 텍스트에서 노이즈를 유발할 수 있음을 시사한다.
• 품사 태그(JJ, RB, RB_JJ)와 극성 미소 이모티콘 목록을 제거할 경우 정확도가 가장 크게 감소(60.6%로)하여, 이들이 핵심적인 역할을 한다는 점을 입증한다.
• BSW(베نغ랄어 전용 단어)를 제거해도 정확도에 영향을 주지 않아, 기존 어휘집이 소셜 미디어의 코드 혼합 텍스트에는 덜 효과적임을 시사한다.
• 모델는 중립 감성에 상당한 편향을 보였으며, 23개의 긍정 및 10개의 부정 게시물이 중립으로 잘못 분류되어, 극성 불균형 문제 해결 여건이 남아 있음을 나타낸다.
• 혼동 행렬을 분석한 결과, 중립 클래스는 가장 높은 재현도(85.7%)를 보였지만, 긍정 및 부정 클래스는 낮은 F-측정치(각각 0.55 및 0.513)를 기록하여, 비중립 감성의 분류에 어려움이 있음을 보여준다.