[논문 리뷰] AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification

Yanghoon Kim, Hwanhee Lee외 1명|arXiv (Cornell University)|2018. 04. 03.

Sentiment Analysis and Opinion Mining참고 문헌 12인용 수 8

한 줄 요약

이 논문은 인간의 이중 단계 처리 방식(이해 → 레이블링)을 영감으로 받아, 소셜 미디어 텍스트에서 다중 레이블 감정 분류를 위한 주의 기반 합성곱 신경망(AttnConvnet)을 제안한다. 자기주의(self-attention)를 통한 문맥 표현, 이모지-의미 전처리, NRC 감정 어휘집 통합을 통해 모델은 SemEval-2018의 5위(영어)와 1위(스페인어)를 기록하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose an attention-based classifier that predicts multiple emotions of a given sentence. Our model imitates human's two-step procedure of sentence understanding and it can effectively represent and classify sentences. With emoji-to-meaning preprocessing and extra lexicon utilization, we further improve the model performance. We train and evaluate our model with data provided by SemEval-2018 task 1-5, each sentence of which has several labels among 11 given sentiments. Our model achieves 5-th/1-th rank in English/Spanish respectively.

연구 동기 및 목표

• 짧고 노이즈가 많은 소셜 미디어 텍스트에서 다중 감정을 효과적으로 분류할 수 있는 딥 러닝 모델을 개발하는 것.
• 작업 특화 전처리 및 외부 자원을 통합하여 자원이 적은 환경에서의 다중 레이블 감정 분류 성능을 향상시키는 것.
• 문장 이해와 감정 분류를 별개의 단계로 분리하여 인간의 인지 처리 방식을 모방하는 것.
• 이모지-의미 변환, 자기주의, 외부 어휘집이 모델 성능에 미치는 영향을 평가하는 것.

제안 방법

• 모델은 단어 임베딩에서 쿼리, 키, 밸류 벡터를 계산함으로써 문맥적 문장 표현을 학습하는 자기주의 모듈을 사용한다.
• 11개 감정 클래스 각각에 대해 병렬적으로 작동하는 다수의 독립적인 1차원 합성곱 신경망이 적용되어 각 감정에 대해 병렬 분류가 가능해진다.
• 이모지-의미 전처리는 이모지를 그들의 의미적 등가물로 대체하여 감정 신호 표현을 향상시킨다.
• 데이터 희소성 문제를 해결하기 위해 사전 학습된 GloVe(영어) 및 fastText(스페인어) 단어 임베딩을 사용한다.
• NRC 감정 어휘집의 감정 특징은 풀링 레이어 출력에 단어 수준의 감정 점수를 연결함으로써 통합된다.
• 합성 데이터는 사전 학습된 모델을 사용하여 생성되었고, 최적화되었지만 이 방법은 제한적인 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 이모지-의미 전처리는 다중 레이블 감정 분류 성능에 어떤 영향을 미치는가?
• RQ2 자기주의는 다중 레이블 감정 분류를 위한 표현 학습을 얼마나 향상시키는가?
• RQ3 감정 어휘집과 합성 데이터와 같은 외부 자원은 자원이 적은 데이터셋에서의 모델 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 앙상블 학습은 SemEval-2018 다중 레이블 감정 분류 벤치마크에서 성능을 어떻게 향상시키는가?

주요 결과

• 이모지-의미 전처리를 적용한 결과 테스트 정확도가 1% 향상되어 54.91%에서 55.90%로 상승했다.
• 자기주의 모듈을 제거한 결과 테스트 정확도가 4% 이상 감소하여 55.90%에서 51.60%로 하락했다.
• 이진화된 단어 수준 레이블을 사용한 NRC 어휘집 통합(AC + nrc2)은 테스트 정확도를 56.40%로 향상시켰다.
• 아홉 개의 AC + nrc2 모델을 조합한 앙상블 모델이 가장 높은 성능을 기록했으며, 검증 정확도 59.76%, 영어 테스트 정확도 57.40%를 달성했다.
• 합성 데이터 생성은 성능 향상에 기여하지 않았고, 오히려 테스트 정확도를 약간 낮추어 과적합의 가능성을 시사했다.
• 모델은 SemEval-2018 Task 1 랭킹에서 영어로 5위, 스페인어로 1위를 기록했다.