[논문 리뷰] Recurrent Entity Networks with Delayed Memory Update for Targeted Aspect-based Sentiment Analysis

Fei Liu, Trevor Cohn외 1명|arXiv (Cornell University)|2018. 04. 30.

Sentiment Analysis and Opinion Mining참고 문헌 14인용 수 8

한 줄 요약

이 논문은 장기적 의존성에 걸쳐 엔티티-아スペ트 쌍을 더 잘 추적할 수 있도록 지연된 메모리 업데이트 메커니즘을 갖춘 순환 엔티티 네트워크를 제안한다. 이는 목표적 아スペ트 기반 감성 분석(TABSA)을 향상시키며, 외부 지식 기반 시스템보다도 우수한 성능을 기록한다. 특히 '그럼에도 불구하고', '최고의 선택'과 같은 언어적 신호가 감성 관련성을 알리면 동적으로 메모리 체인을 업데이트함으로써 성능을 높인다.

ABSTRACT

While neural networks have been shown to achieve impressive results for sentence-level sentiment analysis, targeted aspect-based sentiment analysis (TABSA) --- extraction of fine-grained opinion polarity w.r.t. a pre-defined set of aspects --- remains a difficult task. Motivated by recent advances in memory-augmented models for machine reading, we propose a novel architecture, utilising external "memory chains" with a delayed memory update mechanism to track entities. On a TABSA task, the proposed model demonstrates substantial improvements over state-of-the-art approaches, including those using external knowledge bases.

연구 동기 및 목표

• 감성 신호가 종종 문장 전반에 산재해 있고 지연되어 나타나는 목표적 아スペ트 기반 감성 분석(TABSA)에서 다수의 엔티티-아스펙트 쌍을 추적하는 데 도전하는 것.
• 표준 RNN 및 메모리 네트워크가 어려워하는 장기적 의존성과 지연된 감성 트리거를 모델링하여 TABSA 성능을 향상시키는 것.
• 모든 단어에서가 아니라 관련 언어적 신호가 감지될 때에만 엔티티 표현을 선택적으로 업데이트하는 메모리 증강 아키텍처를 설계하는 것.
• 외부 지식 기반 시스템에 의존하지 않고도 지연된 메모리 업데이트 메커니즘이 아스펙트 검출 및 감성 분류 정확도를 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 모델은 각 엔티티마다 하나씩 메모리 체인을 유지하며, 각각의 체인은 은닉 상태(h^j), 키(k^j), 지연 벡터(d^j)를 포함하여 엔티티별 표현을 추적한다.
• 게이팅 메커니즘이 세 가지 구성 요소를 사용하여 메모리 업데이트를 제어한다: 내용 항목(w_i · h^{j}_{i-1}), 위치 항목(w_i · k^j), 지연 항목(v · d^{j}_{i})로, 이들이 함께 메모리 업데이트 시점을 결정한다.
• 업데이트 게이트 g_i^j는 이 세 항목의 합에 시그모이드 비선형성을 적용하여 계산되며, 감성 관련 표현이 문장 후반에 나타날 경우 지연된 활성화를 가능하게 한다.
• 은닉 상태 h^j_i는 이전 상태와 새로운 입력을 게이트로 조절된 방식으로 조합하는 GRU를 통해 업데이트되며, 이는 장기간의 시퀀스 동안 지속적인 메모리 추적을 가능하게 한다.
• 모델은 순차적으로 입력을 처리하여 '그럼에도 불구하고 비싸다'와 같은 지연된 감성 신호를 포착할 수 있으며, 이는 아스펙트 극성 예측에 필수적이다.
• 아스펙트 검출 및 감성 분류를 위한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습되며, 표준 분할 및 평가 지표를 사용한다.

실험 결과

연구 질문

• RQ1 표준 메모리 네트워크에 비해 지연된 메모리 업데이트 메커니즘이 목표적 아스펙트 기반 감성 분석 성능 향상에 기여하는가?
• RQ2 메모리 업데이트를 지연시키는 모델의 능력이 장기적 감성 의존성 처리에 어떤 영향을 미치는가?
• RQ3 일반적인 임베딩(GloVe 등)만을 사용하는 모델이 SenticNet과 같은 외부 지식 기반 모델보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 모델 성능은 메모리 체인 수에 얼마나 민감하며, 엔티티-아스펙트 쌍을 포괄하기 위해 최적의 용량은 얼마인가?

주요 결과

• 제안된 모델은 아스펙트 검출(F1: 78.0) 및 감성 분류에서 최신 기술 수준을 달성하였으며, SenticLSTM과 같은 외부 지식 기반 모델을 능가하였다.
• 특히 '그럼에도 불구하고'와 같은 지연된 감성 신호를 가진 아스펙트에 대해 기준 모델인 EntNet보다 아스펙트 검출 성능이 크게 향상되었다. 이는 예시(1)의 'transit-location'에서 두드러졌다.
• 시각화 결과, 모델은 더 긴 구간 동안 높은 게이트 활성도를 유지하여 LOC1에서 'transit-location'에 대해 '긍정'으로 정확히 예측한 반면, EntNet은 조기 게이트 종료로 실패하였다.
• 메모리 체인 수가 너무 적을 경우(n=2), 아스펙트 검출 F1이 76.6으로 떨어지며, 모든 아스펙트를 포착하기 위해 충분한 메모리 용량이 필수적임을 보여준다.
• n ≥ 5개의 메모리 체인을 사용할 경우 아스펙트 검출 F1이 약 78.0으로 안정화되며, 이는 모델의 성능이 충분한 메모리 용량을 확보할 경우 유연하고 확장 가능하다는 것을 시사한다.