[논문 리뷰] Sentiment Analysis of Citations Using Word2vec

Haixia Liu|arXiv (Cornell University)|2017. 04. 01.

Advanced Text Analysis Techniques참고 문헌 6인용 수 42

한 줄 요약

이 논문은 문장 임베딩(sent2vec) 기반의 word2vec을 이용한 인용 감성 분석의 효과성을 조사한다. 평균화된 단어 벡터를 사용하여 ACL-Embeddings와 극성 특화 임베딩을 활용한다. 결과적으로 word2vec은 양성/부정 인용 분류에서 강력한 성능을 보였으며, 이는 매크로-F 0.85를 기록했지만, 수작업 특징(feature engineering)이 여전히 전체적으로 슈퍼리어하며, 특히 암시적 인용 분류와 균형 잡힌 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Citation sentiment analysis is an important task in scientific paper analysis. Existing machine learning techniques for citation sentiment analysis are focusing on labor-intensive feature engineering, which requires large annotated corpus. As an automatic feature extraction tool, word2vec has been successfully applied to sentiment analysis of short texts. In this work, I conducted empirical research with the question: how well does word2vec work on the sentiment analysis of citations? The proposed method constructed sentence vectors (sent2vec) by averaging the word embeddings, which were learned from Anthology Collections (ACL-Embeddings). I also investigated polarity-specific word embeddings (PS-Embeddings) for classifying positive and negative citations. The sentence vectors formed a feature space, to which the examined citation sentence was mapped to. Those features were input into classifiers (support vector machines) for supervised classification. Using 10-cross-validation scheme, evaluation was conducted on a set of annotated citations. The results showed that word embeddings are effective on classifying positive and negative citations. However, hand-crafted features performed better for the overall classification.

연구 동기 및 목표

• 수작업 특징 설계 없이 word2vec 기반 문장 임베딩이 인용 감성 분류에 효과적으로 작용할 수 있는지 평가하기 위해.
• 극성 특화 단어 임베딩이 인용 감성 분류 작업에서 성능 향상에 기여하는지 조사하기 위해.
• 암시적 인용(암시적 감성 신호가 부족하여 더 어려운 타입)에서 word2vec의 성능을 평가하기 위해.
• 다른 코퍼스(ACL-Embeddings 대비 Brown 코퍼스)에서 훈련된 word2vec 임베딩과 다양한 차원 수에서의 성능을 비교하기 위해.
• 신경망 기반 임베딩이 전통적인 수작업 특징에 비해 인용 감성 분류에서 동등하거나 슈퍼리어한 성능을 낼 수 있는지 판단하기 위해.

제안 방법

• ACL-Embeddings 코퍼스에서 사전 훈련된 word2vec 모델의 단어 벡터를 평균화하여 문장 임베딩(sent2vec)를 구축하였다.
• 긍정 및 부정 인용 서브셋에서 토이를 통해 미세조정(fine-tuning)하여 극성 특화 단어 임베딩(PS-Embeddings)을 훈련시켰다.
• 수동으로 애너테이션된 인용 데이터셋에서 분류 성능을 평가하기 위해 10겹 교차검증을 실시하였다.
• 각 인용 문장을 고정 길이의 벡터로 매핑하기 위해 sent2vec를 사용하였으며, 이는 지도 학습 분류를 위한 서포트 벡터 머신(SVM)의 입력으로 기능하였다.
• 여러 임베딩 유형 간 성능을 비교하였다: ACL-Embeddings(100D, 300D), Brown 코퍼스(100D), PS-Embeddings(300D).
• 클래스 불균형과 전체 성능를 고려하기 위해 마이크로-F, 매크로-F, 가중-F 스코어를 평가 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 word2vec은 양성 및 부정 인용 분류에 얼마나 잘 작용하는가?
• RQ2 일반 임베딩 대비 극성 특화 임베딩이 분류 성능 향상에 기여하는가?
• RQ3 word2vec은 암시적 인용(객관적, 부정, 양성, 배제됨) 분류에 얼마나 잘 작용하는가?
• RQ4 일반적으로 word2vec은 수작업 특징 대비 양성, 부정, 객관적 인용 분류에서 얼마나 효과적인가?

주요 결과

• word2vec 기반 sent2vec는 이진 양성/부정 인용 분류에서 매크로-F 0.85, 가중-F 0.86를 기록하여 강력한 효과성을 입증하였다.
• ACL-Embeddings(300D)는 Brown 코퍼스(100D)보다 매크로-F(0.33 대 0.31)와 가중-F(0.82 대 0.81)에서 성능이 뛰어나 코퍼스 선택의 중요성을 시사하였다.
• 100D와 300D ACL-Embeddings 간 성능에 유의미한 차이가 없었으며, 이는 높은 차원 수가 항상 성능 향상으로 이어지는 것은 아님을 시사하였다.
• 극성 특화 임베딩(PS-ACL300)은 일반 ACL-Embeddings(매크로-F 0.84 대 0.85)보다 성능 향상이 없었으며, 이는 이전 연구 결과와 정반대되는 결과였다.
• 암시적 인용 분류에서 sent2vec는 매크로-F 0.44를 기록했으며, 베이스라인(0.47)과 유사했고, 객관적 인용 탐지에서 가장 뛰어난 성능(F-스코어 0.84)을 보였다.
• 기본 데이터셋에서 강력한 마이크로-F(0.88)를 기록했음에도 불구하고, word2vec는 수작업 특징(예: n-gram + 의존관계, 매크로-F 0.90)에 비해 성능이 열등했으며, 특히 불균형 데이터에서 두드러졌다.