[논문 리뷰] Earlier Attention? Aspect-Aware LSTM for Aspect-Based Sentiment Analysis

Bowen Xing, Lejian Liao외 5명|arXiv (Cornell University)|2019. 05. 19.

Sentiment Analysis and Opinion Mining참고 문헌 22인용 수 7

한 줄 요약

이 논문은 표준 LSTM과는 달리 문맥 모델링 중에 직접적으로 액센트 정보를 LSTM 셀에 통합하는 새로운 LSTM 변종인 Aspect-Aware LSTM (AA-LSTM)을 제안한다. 이를 통해 AA-LSTM는 동적으로 액센트 기반의 문맥 표현을 생성하며, SemEval-2014 데이터셋에서 표준 LSTM 및 최신 기술 모델 대비 최대 7%p의 절대 F1-macro 향상을 달성한다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) aims to predict fine-grained sentiments of comments with respect to given aspect terms or categories. In previous ABSA methods, the importance of aspect has been realized and verified. Most existing LSTM-based models take aspect into account via the attention mechanism, where the attention weights are calculated after the context is modeled in the form of contextual vectors. However, aspect-related information may be already discarded and aspect-irrelevant information may be retained in classic LSTM cells in the context modeling process, which can be improved to generate more effective context representations. This paper proposes a novel variant of LSTM, termed as aspect-aware LSTM (AA-LSTM), which incorporates aspect information into LSTM cells in the context modeling stage before the attention mechanism. Therefore, our AA-LSTM can dynamically produce aspect-aware contextual representations. We experiment with several representative LSTM-based models by replacing the classic LSTM cells with the AA-LSTM cells. Experimental results on SemEval-2014 Datasets demonstrate the effectiveness of AA-LSTM.

연구 동기 및 목표

• 표준 LSTM이 문맥 모델링 중에 액센트와 관련 없는 정보는 유지하고 액센트와 관련 있는 정보는 기각하는 한계를 해결하기 위해.
• 시퀀스 인코딩 중에 LSTM 셀 자체가 대상 액센트를 인지하도록 하여 문맥 표현의 품질을 향상시키기 위해.
• 기존의 주의 기반 ABSA 모델의 아키텍처를 수정하지 않고도 적용 가능한 플러그 앤 플레이 방식의 LSTM 변종을 개발하기 위해.
• 초기 단계에서 액센트 정보를 통합하면 더 효과적이고 액센트 기반의 숨겨진 상태 표현이 만들어진다는 것을 입증하기 위해.

제안 방법

• 전방 전파 중에 입력 게이트, 잊기 게이트, 출력 게이트에 액센트 임베딩을 통합한 수정된 LSTM 셀을 도입한다.
• 후보 셀 상태 및 은닉 상태 계산에 액센트 정보를 융합함으로써 LSTM 셀의 업데이트 규칙을 수정한다.
• 액센트 벡터를 동적 제어 신호로 사용하여 정보 흐름을 조절함으로써 액센트 관련 특징을 강조하고 관련 없는 특징은 억제한다.
• 주의 메커니즘 또는 분류 헤드를 수정하지 않고, 오직 LSTM 셀만 교체함으로써 표준 주의 메커니즘과 호환성을 유지한다.
• Ablation 및 비교를 위해 여러 기준 모델(예: ATAE-LSTM, IAN, RAM)의 표준 LSTM 셀을 AA-LSTM 셀로 대체한다.
• 액센트 임베딩이 셀 상태 업데이트를 조절하는 게이트된 메커니즘을 도입하여 액센트 기반의 문맥을 선택적으로 유지한다.

실험 결과

연구 질문

• RQ1 LSTM 계산의 초기 단계에서 액센트 정보를 통합하면 액센트 기반 감성 분석을 위한 문맥 표현 향상에 기여하는가?
• RQ2 표준 LSTM과 비교해 볼 때, 액센트 인식 문맥 모델링은 은닉 상태에서 액센트와 관련 없는 정보의 영향을 줄이는가?
• RQ3 기존의 최신 기술 ABSA 모델에서 표준 LSTM을 AA-LSTM으로 대체했을 때, AA-LSTM의 성능은 어떠한가?
• RQ4 RAM 또는 IAN과 같은 고급 주의 메커니즘과 결합했을 때, AA-LSTM은 성능 향상을 이끌 수 있는가?
• RQ5 AA-LSTM의 향상은 더 나은 문맥 모델링 때문인지, 아니면 단지 임베딩에 액센트 정보를 포함시켰기 때문인가?

주요 결과

• AA-LSTM는 ATSA 및 ACSA 작업 모두에서 레스토랑 데이터셋에서 표준 LSTM 대비 최대 7%p의 절대 F1-macro 점수 향상을 달성한다.
• ATAE-LSTM, IAN, RAM 등 여러 기준 모델에서 일관된 성능 향상을 보이며, AA-LSTM의 일반화 능력을 입증한다.
• ATAE-LSTM도 단어 표현에 액센트 임베딩을 사용하고 있음에도 불구하고, ACSA 작업에서 F1-macro 점수에서 AA-LSTM이 승리함으로써 AA-LSTM의 뛰어난 문맥 모델링 능력을 증명한다.
• 복잡한 주의 메커니즘을 내장한 RAM과도 함께 사용했을 때 높은 성능을 유지함으로써, AA-LSTM이 강력한 호환성과 이점의 증폭 효과를 가짐을 시사한다.
• 유일한 변화가 동일한 모델 아키텍처에서 표준 LSTM을 AA-LSTM으로 교체하는 것임을 감안할 때, 향상은 오직 더 나은 문맥 표현 때문임을 입증한다.
• 결과적으로, LSTM 셀에 액센트 정보를 조기에 통합하면 주의 메커니즘만으로는 달성할 수 없는 더 효과적이고 액센트 기반의 은닉 상태 표현이 만들어진다는 것이 확인된다.