[논문 리뷰] Target-Dependent Sentiment Classification with Long Short Term Memory.

Duyu Tang, Bing Qin외 2명|arXiv (Cornell University)|2015. 12. 03.

Topic Modeling참고 문헌 20인용 수 105

한 줄 요약

이 논문은 감성 분류 성능을 향상시키기 위해 시퀀스 모델링에 타겟 단어 정보를 명시적으로 통합하는 두 가지 타겟 의존적 Long Short-Term Memory (LSTM) 모델을 제안한다. 타겟과 그 맥락 간의 의미적 관계를 동적으로 포착함으로써, 문법 분석기나 외부 감성 어휘집을 사용하지 않고도 트위터 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Target-dependent sentiment classification remains a challenge: modeling the semantic relatedness of a target with its context words in a sentence. Different context words have different influences on determining the sentiment polarity of a sentence towards the target. Therefore, it is desirable to integrate the connections between target word and context words when building a learning system. In this paper, we develop two target dependent long short-term memory (LSTM) models, where target information is automatically taken into account. We evaluate our methods on a benchmark dataset from Twitter. Empirical results show that modeling sentence representation with standard LSTM does not perform well. Incorporating target information into LSTM can significantly boost the classification accuracy. The target-dependent LSTM models achieve state-of-the-art performances without using syntactic parser or external sentiment lexicons.

연구 동기 및 목표

• 감성 극성은 타겟과 그 주변 맥락 간의 관계에 따라 달라지는 타겟 의존적 감성 분류 문제에 대응한다.
• 표준 LSTMs가 타겟과 맥락 단어 간의 의미적 관련성을 효과적으로 모델링하지 못하는 한계를 극복한다.
• 순서 인코딩 과정에서 타겟 정보를 자동으로 통합하는 신경망 아키텍처를 개발하여 감성 예측 성능을 향상시킨다.
• 문법 분석기나 감성 어휘집을 사용하지 않고도 벤치마크 트위터 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 타겟-맥락 상호작용을 모델링함으로써 표준 LSTM 접근 방식에 비해 분류 정확도가 향상됨을 입증한다.

제안 방법

• LSTM 유닛의 입력 게이트와 셀 상태에 타겟 단어 표현을 통합하는 두 가지 타겟 의존적 LSTM 모델의 변형을 설계한다.
• 시퀀스 처리 과정에서 맥락 단어 임베딩과 동적으로 결합되는 학습된 타겟 표현을 사용한다.
• 타겟을 기준으로 정방향과 역방향 양방향 LSTM을 적용하여 장거리 의존성을 포착한다.
• 다중 클래스 감성 분류를 위해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 단어 임베딩을 입력 특징으로 사용하며, 관련 맥락 단어를 강조하기 위해 타겟 전용 어텐션 메커니즘을 적용한다.
• 파arameter를 업데이트하기 위해 역전파를 통한 확률적 경사 하강법을 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 표준 LSTM 모델은 감성 분류를 위해 타겟과 맥락 간의 의미적 관계를 효과적으로 포착할 수 있는가?
• RQ2 LSTM 아키텍처에 타겟 정보를 명시적으로 통합함으로써 분류 성능에 어떤 영향을 미치는가?
• RQ3 감성 어휘집이나 문법 분석기와 같은 외부 자원에 의존하지 않고 타겟 의존적 LSTM 모델이 최신 기술 수준의 결과를 얼마나 달성할 수 있는가?
• RQ4 타겟-맥락 상호작용을 모델링함으로써 감성 극성 예측 정확도에 어떤 영향을 미치는가?
• RQ5 성능 및 아키텍처의 단순성 측면에서 제안된 모델은 기존 접근 방식과 어떻게 비교되는가?

주요 결과

• 표준 LSTM 모델은 타겟-맥락 의미적 관계를 충분히 모델링하지 못하여 타겟 의존적 감성 분류에서 성능이 열악하다.
• LSTM 아키텍처에 타겟 정보를 통합함으로써 트위터 벤치마크 데이터셋에서 분류 정확도가 크게 향상된다.
• 제안된 타겟 의존적 LSTM 모델은 문법 분석기나 외부 감성 어휘집을 사용하지 않고도 최신 기술 수준의 성능을 달성한다.
• 모델들은 명시적인 타겟-맥락 상호작용 모델링이 일반적인 시퀀스 모델링보다 더 정확한 감성 예측을 이끌어낸다는 것을 입증한다.
• 성능 향상 요인은 타겟에 대한 관련성이 높은 맥락 단어를 동적으로 가중할 수 있는 모델의 능력에 기인한다.
• 결과는 타겟 인식 LSTM 유닛을 사용한 엔드 투 엔드 학습이 미묘한 감성 표현을 포착하는 데 효과적이라는 것을 검증한다.