[논문 리뷰] Sentiment Classification with Word Attention based on Weakly Supervised Learning with a Convolutional Neural Network

Gichang Lee, Jae-Yun Jeong외 3명|arXiv (Cornell University)|2017. 09. 28.

Sentiment Analysis and Opinion Mining참고 문헌 15인용 수 3

한 줄 요약

이 논문은 문장 수준의 감성 레이블만을 사용하여 클래스 활성화 맵를 통한 단어 주의를 갖는 컨volutional 네ural 웹(CNN)을 사용하는 약한 지도 학습 감성 분류 모델인 CAM²을 제안한다. 문장 수준의 감성 레이블로만 훈련함으로써, 모델은 학습된 주의 맵를 통해 감성을 이끄는 핵심 단어를 식별하며, IMDB에서는 87% 이상, WATCHA에서는 78%의 정확도를 달성하면서도 긍정문과 부정문 모두에서 의미적으로 중요한 어휘를 효과적으로 강조한다.

ABSTRACT

In order to maximize the applicability of sentiment analysis results, it is necessary to not only classify the overall sentiment (positive/negative) of a given document but also to identify the main words that contribute to the classification. However, most datasets for sentiment analysis only have the sentiment label for each document or sentence. In other words, there is no information about which words play an important role in sentiment classification. In this paper, we propose a method for identifying key words discriminating positive and negative sentences by using a weakly supervised learning method based on a convolutional neural network (CNN). In our model, each word is represented as a continuous-valued vector and each sentence is represented as a matrix whose rows correspond to the word vector used in the sentence. Then, the CNN model is trained using these sentence matrices as inputs and the sentiment labels as the output. Once the CNN model is trained, we implement the word attention mechanism that identifies high-contributing words to classification results with a class activation map, using the weights from the fully connected layer at the end of the learned CNN model. In order to verify the proposed methodology, we evaluated the classification accuracy and inclusion rate of polarity words using two movie review datasets. Experimental result show that the proposed model can not only correctly classify the sentence polarity but also successfully identify the corresponding words with high polarity scores.

연구 동기 및 목표

• большин스토 감성 분석 데이터셋에서 단어 수준의 감성 레이블 부족 문제를 해결하기 위해, 명시적인 단어 수준의 레이블 없이도 감성 기여 단어를 식별할 수 있도록 하는 것.
• 문장 내 중요한 단어를 강조하는 주의 메커니즘을 통합하여 감성 분류의 해석 가능성 향상.
• 문장 수준의 감성 레이블을 활용하여, 개별 단어에 대한 감성 예측과 주의 맵 생성이 가능한 CNN 모델을 개발하는 것.
• 영어 및 한국어 영화 리뷰에서 도메인 특화된 감성 표현과 일반 감성 표현을 효과적으로 탐지할 수 있는지 평가하는 것.
• 다양한 단어 임베딩 전략이 약한 지도 학습 환경에서 분류 정확도와 주의 맵 품질에 미치는 영향을 탐색하는 것.

제안 방법

• 각 단어는 Word2Vec, GloVe 또는 FastText를 사용하여 연속적인 벡터 공간에 매핑되며, 문장 행렬을 형성한다. 여기서 각 행은 단어 벡터에 대응한다.
• CNN은 문장 행렬을 다중 필터를 사용하여 처리하고, 모든 단어가 위치에 관계없이 동일하게 취급되도록 제로 패딩을 적용한다.
• 평균 풀링을 적용하여 공간 정보를 유지하면서 차원을 감소시키며, 특징 표현을 유지한다.
• 문장 수준의 감성 레이블로 훈련을 마친 후, 최종 완전 연결 층의 가중치를 사용하여 단어 주의를 위한 클래스 활성화 맵을 생성한다.
• 각 단어의 주의 점수는 특징 맵의 가중 평균으로 계산되며, 감성 예측에 가장 영향을 미치는 단어를 강조한다.
• 다양한 CNN 변종(CNN-Rand, CNN-Non-Static 등)을 평가하였으며, 이는 훈련 중 단어 임베딩을 미세조정할지 여부에 따라 다릅니다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 CNN 모델이 문장 수준의 레이블만을 사용하여 문장 내 핵심 감성 기여 단어를 식별할 수 있는가?
• RQ2 다양한 단어 임베딩 기법의 통합이 모델의 분류 성능 및 주의 성능에 어떤 영향을 미치는가?
• RQ3 다양한 CNN 아키텍처(예: 단어 임베딩을 미세조정하는지 여부)가 주의 맵 품질에 얼마나 영향을 미치는가?
• RQ4 모델은 영화 리뷰에서 일반 감성 표현과 도메인 특화된 감성 어휘를 얼마나 잘 탐지할 수 있는가?
• RQ5 긍정문과 부정문 모두에서 주의 맵가 의미적으로 중요한 긍정적·부정적 표현을 정성적으로 어떻게 식별하는가?

주요 결과

• CAM² 모델은 문장 수준의 감성 레이블만을 사용하여 IMDB 데이터셋에서 87% 이상, WATCHA 데이터셋에서 78%의 분류 정확도를 달성했다.
• 훈련 중 단어 임베딩을 미세조정하는 CNN 모델들(CNN-Rand, CNN-Non-Static 등)은 미세조정을 하지 않는 모델들(CNN-Static 등)보다 분류 정확도에서 뛰어난 성능을 보였다.
• 다양한 단어 임베딩 기법의 통합은 IMDB 데이터셋에서 성능 향상을 이끌어내어 다양한 벡터 표현의 이점이 있음을 시사했다.
• 긍정 문장에서 '감탄스럽다'(impressing)와 '존경스럽다'(admirable)와 같은 의미적으로 중요한 표현을 성공적으로 강조하여 효과적인 주의 학습을 보였다.
• 부정 문장에서는 CNN-Static 모델이 일반적인 감정 어휘에 집중하는 반면, 다른 모델들은 '총체적 난국'(total crisis)과 같은 도메인 특화 표현에 더 강조점을 두어 언어적 맥락에 민감함을 보였다.
• 정성적 분석을 통해 주의 맵가 전체 감성 예측이 모순되거나 모호한 경우에도 강력한 감정 어휘를 정확히 식별하는 것으로 확인되었다.