[논문 리뷰] Exploiting Document Knowledge for Aspect-level Sentiment Classification

Ruidan He, Wee Sun Lee외 2명|arXiv (Cornell University)|2018. 06. 12.

Sentiment Analysis and Opinion Mining참고 문헌 15인용 수 19

한 줄 요약

이 논문은 주의 기반 LSTM을 사용한 미세조정과 다중 작업 학습을 통해 문서 수준의 감성 지식을 활용하여 개별 요소 수준의 감성 분류 성능을 햖थ다. 사전 훈련과 다중 작업 학습을 통해, 사전 훈련된 문서 수준의 감성 데이터로부터의 지식 전이를 통해 일반화 능력을 향상시키고 중립 및 도메인 특화 감성에 대한 오류를 줄일 수 있다. 네 개의 SemEval 데이터셋에서의 실험 결과, 특히 불균형 데이터에서 뚜렷한 성능 향상이 나타났다.

ABSTRACT

Attention-based long short-term memory (LSTM) networks have proven to be useful in aspect-level sentiment classification. However, due to the difficulties in annotating aspect-level data, existing public datasets for this task are all relatively small, which largely limits the effectiveness of those neural models. In this paper, we explore two approaches that transfer knowledge from document- level data, which is much less expensive to obtain, to improve the performance of aspect-level sentiment classification. We demonstrate the effectiveness of our approaches on 4 public datasets from SemEval 2014, 2015, and 2016, and we show that attention-based LSTM benefits from document-level knowledge in multiple ways.

연구 동기 및 목표

• 신경망 모델의 성능을 제한하는 고품질의 애너테이션된 개별 요소 수준의 감성 데이터가 부족한 문제를 해결하기 위해.
• 대규모로 확보 가능한 문서 수준의 감성 데이터로부터의 지식이 개별 요소 수준의 감성 분류 성능을 향상시킬 수 있는지 조사하기 위해.
• 사전 훈련과 다중 작업 학습을 통한 전이 학습의 효과를 평가하기 위해.
• 문서 수준 지식이 모델 예측을 특히 중립 감성과 否정 문장과 같은 어려운 케이스에서 어떻게 향상시키는지 분석하기 위해.

제안 방법

• 문서 수준 감성 사전 훈련에서 유도된 워드 임베딩으로 초기화된 워드 임베딩을 사용하여, 주의 기반 LSTMs 모델을 개별 요소 수준 데이터에 대해 미세조정한다.
• 개별 요소 수준과 문서 수준 감성 분류 작업을 동시에 훈련시켜 표현을 공유함으로써 다중 작업 학습을 적용한다.
• 임베딩, LSTM, 출력층에 중점적으로 문서 수준 모델의 파라미터를 개별 요소 수준 모델로 전이한다.
• 숨은 상태와 대상 표현 간의 정렬 점수를 계산하는 콘텐츠 기반 주의 메커니즘을 사용하여, 대상에 특화된 문장 표현을 생성한다.
• 의견 대상어의 워드 임베딩 평균을 대상 표현으로 계산한다.
• 다중 작업 학습에서 개별 요소 수준 및 문서 수준의 손실 항목을 포함하는 복합 목적 함수를 최적화하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 대규모 문서 수준 감성 데이터로부터의 지식이 개별 요소 수준 감성 분류 모델의 성능 향상에 기여할 수 있는가?
• RQ2 문서 수준 데이터에서의 사전 훈련이 개별 요소 수준 감성 모델의 표현 품질에 어떤 영향을 미치는가?
• RQ3 문서 수준 데이터를 활용한 다중 작업 학습이 개별 요소 수준 감성 작업에서의 일반화 능력을 어떻게 향상시키는가?
• RQ4 전이 학습이 불균형 데이터셋에서 성능 저하를 완화하는 데 도움이 되는가, 특히 중립 감성 예측에 대해?
• RQ5 부정, 도메인 특화 어휘, 일반 감성 어휘 등 어떤 종류의 예측 오류가 문서 수준 지식을 통합함으로써 가장 효과적으로 감소하는가?

주요 결과

• 문서 수준 데이터에서의 사전 훈련은 개별 요소 수준 감성 분류 정확도와 매크로-F1 점수를 크게 향상시키며, 특히 다중 작업 학습과 조합했을 때 두드러진 성능 향상을 보였다.
• 사전 훈련과 다중 작업 학습의 조합(PRET+MULT)이 네 개의 SemEval 데이터셋 전반에서 최고의 성능을 기록했으며, 오직 개별 요소 수준 데이터로만 훈련된 모델보다 뛰어난 성능을 보였다.
• LSTM 및 임베딩 계층의 전이가 출력 계층 전이보다 더 큰 향상을 가져왔는데, 이는 전이된 계층이 더 일반화 가능한 성질을 지녔기 때문이다.
• 극도로 불균형한 데이터셋(D3 및 D4)에서는 임베딩 계층 전이가 중립 및 희귀 감성 클래스에 대해 매크로-F1 점수를 급격히 향상시켰다.
• 부정, 도메인 특화 의견 어휘, 기존 감성 어휘 등 기존 기준 모델에서 잘못 분류되는 어휘들에 대해 오류가 효과적으로 감소하였다.
• 문서 수준 훈련 데이터의 40%만으로도 D3 및 D4에서 매크로-F1 점수가 뚜렷한 향상을 보였으며, 이는 전이 접근법의 뛰어난 샘플 효율성을 시사한다.