[논문 리뷰] Semi-supervised emotion lexicon expansion with label propagation and specialized word embeddings

Mario Giulianelli|arXiv (Cornell University)|2017. 08. 13.

Sentiment Analysis and Opinion Mining참고 문헌 35인용 수 4

한 줄 요약

이 논문은 감정 특화 단어 임베딩과 새로운 레이블 전파 알고리즘을 사용하여 감정 어휘사전을 확장하는 준지도 학습 방법을 제안한다. Hashtag Emotion Corpus에서 양방향 LSTM을 훈련시켜 감정에 특화된 단어 벡터를 학습하고, 의미 유사도 그래프를 구축하며, 배치 최적화된 레이블 전파를 적용하여 NRC 감정 어휘사전을 확장하여 기준 모델 대비 평균 10.5% F1 점수 향상을 이룬다.

ABSTRACT

There exist two main approaches to automatically extract affective orientation: lexicon-based and corpus-based. In this work, we argue that these two methods are compatible and show that combining them can improve the accuracy of emotion classifiers. In particular, we introduce a novel variant of the Label Propagation algorithm that is tailored to distributed word representations, we apply batch gradient descent to accelerate the optimization of label propagation and to make the optimization feasible for large graphs, and we propose a reproducible method for emotion lexicon expansion. We conclude that label propagation can expand an emotion lexicon in a meaningful way and that the expanded emotion lexicon can be leveraged to improve the accuracy of an emotion classifier.

연구 동기 및 목표

• 감정 어휘사전의 낮은 재현율 문제를 해결하기 위해 감정 어휘의 커버리지가 제한된 문제를 해결한다.
• 맥락적이고 감정적으로 정보가 반영된 단어 표현을 통해 어휘사전을 확장하여 감정 분류 성능을 향상시킨다.
• 감정 기반 학습과 그래프 기반 레이블 전파를 결합한 확장 가능한 준지도 학습 프레임워크를 개발한다.
• 메모리 및 계산 비용을 줄이기 위해 배치 경사하강법을 사용하여 대규모 그래프에 대한 레이블 전파를 최적화한다.
• 감정 특화 단어 임베딩이 어휘사전 확장과 후속 감정 분류에 모두 기여함을 보여준다.

제안 방법

• 감정에 특화된 단어 임베딩을 학습하기 위해 Hashtag Emotion Corpus (Mohammad & Kiritchenko, 2015)에서 양방향 LSTM을 훈련시어 감정 성향을 전용 벡터 차원에 코딩한다.
• 감정 특화 단어 임베딩 간의 코사인 유사도를 사용하여 의미 유사도 그래프를 구축하여 어휘 관계를 표현한다.
• 자체 설계된 가중치 계산 함수를 통해 코사인 유사도를 거리 척도로 사용하는 레이블 전파의 새로운 변형을 제안한다.
• 대규모 그래프에서의 메모리 사용량 감소와 수렴 속도 향상을 위해 레이블 전파를 배치 기반으로 학습하는 전략을 도입한다.
• 레이블 전파 알고리즘을 사용하여 시드 어휘사전(NRC 감정 어휘사전)의 감정 레이블을 그래프 내의 미레이블링된 단어로 전파한다.
• 레이블 전파에서 유도된 클래스 확률 분포와 함께 확장된 어휘사전을 사용하여 후속 감정 분류기의 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 감정 특화 단어 임베딩은 감정 어휘사전 확장에 적합한 의미 유사도 그래프의 품질을 향상시킬 수 있는가?
• RQ2 배치 최적화된 레이블 전파 알고리즘이 대규모 그래프에서 확장 가능하고 효율적인 준지도 학습 기반 어휘사전 확장을 가능하게 하는가?
• RQ3 특화된 임베딩과 함께 레이블 전파를 통합할 경우, 기준 모델 대비 감정 분류 성능 향상 정도는 어느 정도인가?
• RQ4 동일한 감정 분류 작업에서 제안된 방법의 성능은 인간 애너테이터와 비교해 어떻게 되는가?
• RQ5 제안된 프레임워크는 도메인 간 일반화가 가능한가? 정밀도를 유지하면서 어휘사전 커버리지의 재현율을 향상시킬 수 있는가?

주요 결과

• 확장된 어휘사전을 사용한 양방향 LSTM을 통해 Hashtag Emotion Corpus에서 평균 F1 점수 56.2%를 달성하였으며, 어휘사전 확장을 하지 않은 기준 LSTM 대비 10.5% 향상되었다.
• 인간 애너테이터는 평균 F1 점수 40.6%를 기록하여, 모델의 성능가 인간 성능보다 훨씬 높은 상한선에 가까이 있음을 시사하며, 이는 모델이 인간의 직관을 초월한 미세한 감정적 신호를 포착하고 있음을 나타낸다.
• 배치 최적화된 레이블 전파 알고리즘이 학습 시간과 메모리 소비를 감소시켜 수천 개의 노드를 포함하는 대규모 그래프에 적용할 수 있도록 하였다.
• 감정 특화 단어 임베딩의 사용으로 더 의미 있는 유사도 그래프가 생성되었으며, 이는 후속 감정 분류 작업에서 높은 F1 점수로 입증되었다.
• 분포 표현의 맥락에서 코사인 유사도 기반 가중치를 사용한 레이블 전파가 전통적인 유클리드 거리 기반 접근보다 성능이 뛰어났다.
• 확장된 어휘사전은 감정 분류기의 일반화 능력을 향상시켰으며, 특히 기준 성능이 낮았던 저자원 감정(혐오, 공포)에 대해 뚜렷한 향상을 보였다.