[논문 리뷰] Linguistically Regularized LSTMs for Sentiment Classification

Qian Qiao, Minlie Huang외 2명|arXiv (Cornell University)|2016. 11. 12.

Sentiment Analysis and Opinion Mining참고 문헌 37인용 수 94

한 줄 요약

이 논문은 문맥적으로 규제된 LSTMs를 제안하여, 감성 사전, 否정어, 강도어의 영향을 직접적으로 모델링함으로써 문장 수준의 감성 분류 성능을 향상시킨다. 구문 수준의 주석이나 파싱 트리가 필요 없이 성능을 향상시키며, 양방향 LSTM에서 동적 감성 분포 규제를 통해 언어적 감성 이동을 포착함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sentiment understanding has been a long-term goal of AI in the past decades. This paper deals with sentence-level sentiment classification. Though a variety of neural network models have been proposed very recently, however, previous models either depend on expensive phrase-level annotation, whose performance drops substantially when trained with only sentence-level annotation; or do not fully employ linguistic resources (e.g., sentiment lexicons, negation words, intensity words), thus not being able to produce linguistically coherent representations. In this paper, we propose simple models trained with sentence-level annotation, but also attempt to generating linguistically coherent representations by employing regularizers that model the linguistic role of sentiment lexicons, negation words, and intensity words. Results show that our models are effective to capture the sentiment shifting effect of sentiment, negation, and intensity words, while still obtain competitive results without sacrificing the models' simplicity.

연구 동기 및 목표

• 구문 수준의 주석이나 파싱 트리 구조에 의존하지 않는 간단하고 효율적인 시퀀스 모델을 개발하여 문장 수준의 감성 분류를 수행하는 것.
• 감성 사전, 否정어, 강도어와 같은 언어 자원을 신경 시퀀스 모델에 통합하여 감성 분류 성능을 향상시키는 것.
• 감성 이동자(예: 否정어, 강도어)의 언어적 역할을 시퀀스 위치 간 감성 분포 전이를 규제함으로써 모델링하는 것.
• 모델의 단순성과 해석 가능성은 유지하면서 최신 기술 수준의 모델과 비교할 만한 성능을 달성하는 것.

제안 방법

• 이웃한 위치 간 감성 분포 간에 학습된 변환을 강제하는 언어적 규제자를 도입한다.
• 변환 행렬 $ T_{nw} $ 를 적용하여, 예를 들어 not 곑 같은 否정어가 한 토큰에서 다음 토큰으로 감성 극성의 반전 또는 이동을 어떻게 모델링할 수 있는지 분석한다.
• 강도어(예: very, extremely)에 대해 별도의 규제자를 사용하여, 이들이 이웃한 위치 간 감성 강도를 어떻게 증폭하거나 감소시킬 수 있는지 모델링한다.
• 양방향 LSTMs를 구현하여 전방 및 후방 맥락을 모두 포착함으로써 감성 이동자의 모델링을 향상시킨다.
• 구문 수준의 주석이 필요 없이 문장 수준의 주석만으로 모델을 종합적으로 훈련시킨다.
• 최소화 연산자를 적용하여 否정어 및 강도어의 적용 범위를 부분적으로 다루어 모델의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 감성 이동자의 영향을 모델링하는 언어적 규제자가 시퀀스 모델의 감성 분류 성능을 향상시킬 수 있는가?
• RQ2 이러한 규제자를 파싱 트리나 구문 수준의 주석 없이 표준 LSTMs에 효과적으로 통합할 수 있는가?
• RQ3 감성 이동자(예: 否정어, 강도어)는 시퀀스 위치 간 감성 분포를 어떻게 변화시키며, 이러한 이동을 학습된 변환으로 모델링할 수 있는가?
• RQ4 제안된 방법은 모델의 단순성을 유지하면서 최신 기술 수준의 모델과 비교할 만한 성능을 달성할 수 있는가?

주요 결과

• 모델은 감성 이동자인 否정어의 행동을 성공적으로 포착하며, 예를 들어 매우 긍정적인 표현(예: not very good)을 중립 또는 부정적인 감성으로 전환하는 것을 확인할 수 있다.
• 감성 이동자인 否정어는 일관되게 긍정에서 부정, 부정에서 긍정으로 감성 극성을 이동시키며, 'not interesting'이나 'no good scenes'와 같은 뚜렷한 사례들이 존재한다.
• 강도어인 'very'와 'most'는 감성을 증폭시키며, 이로 인해 21개의 표현에서 부정에서 매우 부정으로, 긍정에서 매우 긍정으로 변화하는 경우가 발생한다.
• 중립 문장은 否정어에 의해 수정되어도 중립 상태를 유지한다(예: not at home), 이는 모델이 감성 관련어와 비감성어를 올바르게 구분할 수 있음을 확인한다.
• 모델은 미세한 감성 분류 성능을 유지하며, 'most'를 부정 및 긍정 문장에 적용했을 때 21개 전부에서 감성을 정확히 증폭시키는 것으로 확인된다.
• 복잡한 트리 구조 아키텍처에 의존하는 모델들보다도, 이 방법은 문장 수준의 주석만으로도 SST 데이터셋에서 최신 기술 수준의 성능을 달성한다.