[논문 리뷰] Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis

Bowen Xing, Ivor W. Tsang|arXiv (Cornell University)|2021. 06. 21.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 문맥 모델링 중 정보 흐름을 동적으로 조절하기 위해 주어진 어휘를 '문맥 외의 단서'로 간주하는 aspect-aware context encoders—AALSTM, AAGCN, 및 AABERTs—를 소개한다. 문맥 기반 감성 분석(ABSA)에서 이러한 모델들은 인코더 자체에 어휘 의미를 통합함으로써 관련된 어휘 정보를 유지하고 불필요한 내용을 억제하여, ATSA 및 ACSA 벤치마크에서 최신 기술 수준의 성능을 달성하며 도메인 간 설정에서 더 뛰어난 강건성을 확보한다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) aims to predict the sentiment expressed in a review with respect to a given aspect. The core of ABSA is to model the interaction between the context and given aspect to extract the aspect-related information. In prior work, attention mechanisms and dependency graph networks are commonly adopted to capture the relations between the context and given aspect. And the weighted sum of context hidden states is used as the final representation fed to the classifier. However, the information related to the given aspect may be already discarded and adverse information may be retained in the context modeling processes of existing models. This problem cannot be solved by subsequent modules and there are two reasons: first, their operations are conducted on the encoder-generated context hidden states, whose value cannot change after the encoder; second, existing encoders only consider the context while not the given aspect. To address this problem, we argue the given aspect should be considered as a new clue out of context in the context modeling process. As for solutions, we design several aspect-aware context encoders based on different backbones: an aspect-aware LSTM and three aspect-aware BERTs. They are dedicated to generate aspect-aware hidden states which are tailored for ABSA task. In these aspect-aware context encoders, the semantics of the given aspect is used to regulate the information flow. Consequently, the aspect-related information can be retained and aspect-irrelevant information can be excluded in the generated hidden states. We conduct extensive experiments on several benchmark datasets with empirical analysis, demonstrating the efficacies and advantages of our proposed aspect-aware context encoders.

연구 동기 및 목표

• 기존 ABSA 모델에서 은닉 상태 생성 중 어휘 의미를 忽시하는 '어휘 무관 문제'를 식별하고 해결하기 위해.
• 후행 인코더 어텐션 메커니즘에 의존하는 대신, 어휘 정보를 인코더 아키텍처 자체에 직접 통합하여 문맥 모델링을 향상시키기 위해.
• LSTM, GCN, BERT의 aspect-aware 버전을 개발하여 ABSA에 적합한 aspect-aware 은닉 상태를 생성하기 위해.
• 인코딩 단계에서 aspect-aware 의존성을 모델링하면 성능과 강건성이 향상되며, 특히 도메인 간 시나리오에서 유의미한 개선이 이루어짐을 입증하기 위해.
• 관계 분류와 같이 엔티티 또는 어휘 인식이 핵심적인 NLP 작업에서의 문맥 모델링에 새로운 패러다임을 제시하기 위해.

제안 방법

• 어휘 임베딩를 사용하여 입력, 기록, 출력 게이트를 동적으로 조절하는 aspect-aware 게이트 메커니즘을 LSTM에 도입하여 정보 흐름을 조절한다.
• 노드 간 메시지 전파를 어휘 관련성 기반으로 제어하는 aspect-aware 컨볼루션 게이트를 GCN에 통합하여 어휘 관련 정보를 우선시한다.
• 세그먼트 임베딩 및 [SEP] 토큰 사용 방식을 수정하여 문맥과 어휘를 별개의 문장으로 간주하지 않도록 BERT를 변형함으로써, 초기 단계부터 공동 모델링을 가능하게 한다.
• 사전 훈련 중 어휘-문맥 상호작용을 최적화하기 위해 다양한 입력 구성으로 AABERT1, AABERT2, AABERT3의 세 가지 변형을 설계한다.
• 표준 인코더 출력이 어휘 의미를 忽시하는 것을 방지하기 위해, aspect-aware 은닉 상태를 최종 분류기의 입력으로 사용한다.
• LSTM, GCN, BERT 아키텍처 전반에 걸쳐 aspect-aware 인코더를 평가할 수 있는 통합 프레임워크를 도입하여, 아블레이션 및 비교 연구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어휘 의미를 직접적으로 문맥 인코더에 통합하면 ABSA에서 발생하는 어휘 무관 문제를 완화할 수 있는가?
• RQ2 후행 인코딩 어텐션 메커니즘과 비교해 볼 때, 인코딩 단계에서 어휘 인식 모델링이 감성 분류 성능에 어떤 영향을 미치는가?
• RQ3 표준 인코더에 비해 aspect-aware 인코더는 도메인 간 일반화 능력에서 더 뛰어난가?
• RQ4 LSTM, GCN, BERT 등의 다양한 아키텍처 선택이 aspect-aware 문맥 모델링에 어떤 영향을 미치는가?
• RQ5 aspect-aware 모델링은 다중 어휘 시나리오에서 더 안정적인 성능을 제공할 수 있는가?

주요 결과

• AALSTM, AAGCN, 및 AABERTs는 ATSA 및 ACSA 벤치마크에서 각각의 베이직 버전보다 유의미하게 뛰어난 성능을 보이며 aspect-aware 인코딩의 효과를 입증한다.
• AABERT1 (CLS)는 도메인 간 평가에서 레스토랑 도메인에서 매크로-F1 75.41, 랩탑 도메인에서 73.13을 기록하여 BERT1 (CLS)를 초월하며 더 뛰어난 강건성을 보였다.
• AABERT3 모델은 레스토랑 도메인에서 매크로-F1 75.68, 랩탑 도메인에서 72.96을 달성하여 aspect-aware 구성으로의 파인튜닝이 도메인 일반화 능력을 향상시킴을 시사한다.
• 다중 어휘 시나리오에서는 AABERTs가 BERT1보다 더 안정적인 성능을 보였으며, AABERT3는 레스토랑에서 75.68 F1, 랩탑에서 72.96 F1을 기록하였다. 반면 BERT1은 변동성이 더 컸다.
• AALSTM과 AAGCN의 조합은 LSTM 기반 모델에서 새로운 최고 기록을 달성하여 aspect-aware 구성 요소 간의 상호보완성이 확인되었다.
• AABERTs는 문맥과 어휘 간의 더 매끄러운 의미 공간을 형성하여 도메인 특화 편향을 감소시키고 도메인 간 전이 능력을 향상시켰다.