[논문 리뷰] Japanese Sentiment Classification using a Tree-Structured Long Short-Term Memory with Attention

Ryosuke Miyazaki, Mamoru Komachi|arXiv (Cornell University)|2017. 04. 04.

Topic Modeling참고 문헌 32인용 수 3

한 줄 요약

이 논문은 문장 수준의 태깅된 코퍼스에서만 학습할 수 있도록 하면서 어휘 수준의 태깅이 필요로 하지 않는 일본어 감성 분류를 위한 트리 구조를 가진 장기 단기 기억망(LSTM) 모델과 주목성 메커니즘, 극성 사전을 제안한다. 모델은 주목성 메커니즘을 통해 중요한 어휘 조합에 집중하고, 극성 사전을 약한 지도 신호로 사용하여 어휘 수준의 감성 신호를 제공함으로써 상태 기반 성능을 달성한다. 이는 문장 수준 태깅된 데이터에서 일본어 감성 분류 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Previous approaches to training syntax-based sentiment classification models required phrase-level annotated corpora, which are not readily available in many languages other than English. Thus, we propose the use of tree-structured Long Short-Term Memory with an attention mechanism that pays attention to each subtree of the parse tree. Experimental results indicate that our model achieves the state-of-the-art performance in a Japanese sentiment classification task.

연구 동기 및 목표

• 구문 기반 감성 모델을 학습하기 위해 일본어에서 어휘 수준 태깅된 코퍼스가 부족한 문제를 해결하기 위해.
• 극성 사전에서 유도된 약한 지도 신호를 활용하여 자원이 제한된 환경에서 감성 분류 성능을 향상시키기 위해.
• 어휘 수준 감성 신호를 포함하지 않고도 문장 수준 감성 레이블만을 사용하여 종단 간 재귀 신경망을 훈련시킬 수 있도록 하기 위해.
• 주목성 메커니즘과 극성 사전이 감성 분석에서 비용이 많이 드는 어휘 수준 태깅을 효과적으로 대체할 수 있는지 보여주기 위해.

제안 방법

• 모델은 문법 분석 트리에 기반하여 어휘 표현을 재귀적으로 인코딩하기 위해 트리 구조를 가진 장기 단기 기억망(Tree-LSTM)을 사용한다.
• 최종 문장 감성 예측에 각 하위트리의 기여도를 동적으로 가중하기 위해 루트 수준에 주목성 메커니즘을 적용한다.
• 어휘 수준 감성에 대한 약한 지도 신호를 제공하기 위해 극성 사전을 사용하며, 사전 항목을 허위 태깅(피지컬 태깅)으로 간주하여 학습에 활용한다.
• 주목성 메커니즘은 하위트리들에 대해 주목성 가중치를 계산하여 분류 과정에서 의미적으로 중요한 어휘 조합에 집중할 수 있도록 한다.
• 어휘 수준 신호는 극성 사전 항목을 통해 주입되며, 문장 수준 감성 레이블만을 사용하여 종단 간으로 훈련된다.
• 주목성과 사전 기반 지도 신호를 통합하여 어휘 수준 태깅이 완전히 제공되지 않는 환경에서 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 일본어에서 어휘 수준 태깅된 코퍼스가 없이도 트리-LSTM 모델이 강력한 감성 분류 성능을 달성할 수 있는가?
• RQ2 약한 지도 신호를 활용한 어휘 수준 감성 신호를 제공하는 주목성 메커니즘이 자원이 제한된 환경에서 표현 학습을 얼마나 효과적으로 향상시키는가?
• RQ3 어떤 정도까지 극성 사전이 재귀 신경망 학습에서 명시적인 어휘 수준 태깅을 대체할 수 있는가?
• RQ4 주목성과 극성 사전의 조합이 단독으로 하나의 구성 요소만을 사용한 모델보다 성능이 뛰어나게 되는가?
• RQ5 왜 극성 사전의 사용은 일본어 데이터에서는 성능을 향상시키지만 영어 데이터에서는 성능을 떨어뜨리는가?

주요 결과

• 제안된 모델은 일본어 감성 분류 벤치마크에서 최고 성능을 기록하며, Tree-CRF 및 기타 강력한 베이스라인을 초월한다.
• 주목성과 극성 사전을 모두 사용한 모델가 가장 높은 정확도를 기록했으며, Tree-CRF를 1.8%p 초월한다.
• 주목성만 사용해도 표준 Tree-LSTM보다 성능 향상이 이루어지지만, 극성 사전의 추가로 인한 성능 향상이 더 크다.
• 영어 Stanford Sentiment Treebank에서는 극성 사전 사용이 성능을 떨어뜨리며, 도메인 불일치로 인한 노이즈가 원인일 수 있다.
• 정성적 분석 결과, 모델은 'cannot be found'이나 'apprehension'과 같은 감성 중심 어휘 조합을 올바르게 식별하지만, 주목성이 잘못 향할 경우 부정과 극성 전환 처리에 실패한다.
• 주의 시각화 예시를 통해 주목성 메커니즘이 맥락적으로 관련된 어휘 조합에 집중함으로써 부정과 극성 반전을 효과적으로 포착하는 데에 강건함을 보였다.