[논문 리뷰] Aspect Level Sentiment Classification with Attention-over-Attention Neural Networks

Binxuan Huang, Yanglan Ou외 1명|arXiv (Cornell University)|2018. 04. 18.

Sentiment Analysis and Opinion Mining참고 문헌 17인용 수 24

한 줄 요약

이 논문은 측면 수준의 감성 분류를 위한 Attention-over-Attention (AOA) 신경망을 제안하며, 이중 LSTM와 상호 관련성을 포착하는 어텐션 메커니즘을 사용하여 측면과 문맥 문장을 함께 모델링한다. 이 모델은 SemEval 2014 데이터셋에서 이전의 LSTM 기반 모델들을 능가하며, 레스토랑 데이터셋에서 81.2%의 F1 점수와 랩탑 데이터셋에서 74.5%의 F1 점수를 기록하여 IAN 및 ATAE-LSTM와 같은 모델들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Aspect-level sentiment classification aims to identify the sentiment expressed towards some aspects given context sentences. In this paper, we introduce an attention-over-attention (AOA) neural network for aspect level sentiment classification. Our approach models aspects and sentences in a joint way and explicitly captures the interaction between aspects and context sentences. With the AOA module, our model jointly learns the representations for aspects and sentences, and automatically focuses on the important parts in sentences. Our experiments on laptop and restaurant datasets demonstrate our approach outperforms previous LSTM-based architectures.

연구 동기 및 목표

• 심층 신경망을 사용하여 측면과 문맥 문장을 함께 모델링함으로써 측면 수준의 감성 분류를 향상시키기 위해.
• 이전 모델들이 측면과 문장을 별도로 다루기 때문에 감성을 담고 있는 단어에 최적화되지 않은 어텐션을 유도하는 한계를 해결하기 위해.
• 측면과 문장 간의 상호 어텐션 메커니즘을 개발하여 감성 극성 예측에 가장 관련성이 높은 단어에 집중하도록 하기 위해.
• 기본 측면 수준의 감성 분류 데이터셋에서 기존 최고 성능을 기록한 LSTM 기반 모델들을 능가하기 위해.

제안 방법

• 문맥 문장과 측면 대상에 대해 별도의 두 LSTMs를 사용하여, 문맥적 표현과 대상에 특화된 표현을 각각 학습한다.
• 서로 다른 어텐션 메커니즘을 사용하는 Attention-over-Attention (AOA) 모듈을 적용하여, 측면에서 문장으로의 어텐션과 문장에서 측면으로의 어텐션을 계산함으로써 관련성이 높은 단어에 동적으로 집중한다.
• 측면의 어텐션에 기반하여 문장에서 가장 관련성이 높은 단어에 어우러진 최종 문장 표현을 생성하며, 반대로 측면 표현에 대해서도 동일한 방식으로 처리한다.
• 양쪽 LSTMs의 최종 표현을 연결하고 분류기로 감성 극성(긍정, 부정, 중립)을 예측한다.
• 단어 임베딩을 사용하고 수동적인 특징 공학 없이 엔드 투 엔드로 표현을 학습함으로써 일반화 능력을 향상시키고 언어 처리 전처리에 대한 의존도를 줄인다.
• 오버피팅을 줄이고 무작위 가중치 초기화에 대한 모델 안정성을 향상시키기 위해 훈련 중 드롭아웃과 배치 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 측면과 문장 간의 이중 어텐션을 갖춘 공동 모델링 접근 방식이 측면 수준의 감성 분류 정확도를 향상시킬 수 있는가?
• RQ2 AOA 메커니즘이 특정 측면과 관련된 감성을 담고 있는 문장 내 단어를 효과적으로 식별할 수 있는가?
• RQ3 제안된 AOA-LSTM 모델은 IAN 및 ATAE-LSTM와 같은 기존 최고 성능 모델들과 표준 기준 데이터셋에서 어떻게 비교되는가?
• RQ4 이 모델은 레스토랑 리뷰와 같은 다양한 도메인 간에 얼마나 잘 일반화되는가?

주요 결과

• AOA-LSTM 모델은 SemEval 2014 레스토랑 데이터셋에서 테스트 F1 점수 81.2%를 기록하여 이전 최고 성능 모델(IAN)보다 2.6% 포인트 높은 성능을 보였다.
• 랩탑 데이터셋에서는 F1 점수가 74.5%에 도달하여 IAN 대비 1.9% 포인트 향상되어 다양한 도메인에서 일관된 성능 향상을 보였다.
• 10번의 무작위 실행에서 모델의 최고 성능은 레스토랑 데이터셋에서 81.2%였으며, 평균 ± 표준편차로 0.797 ± 0.008을 기록하여 높은 안정성과 재현 가능성을 보였다.
• 사례 연구 결과 어텐션 메커니즘이 감성을 담고 있는 단어—예를 들어 'service'에 대해 'slow'—를 성공적으로 강조함으로써 측면과 관련 문장 단어 간 효과적인 정렬을 보였다.
• 오류 분석 결과 모델는 비조합적 표현, 관용구(예: 'on point') 및 복잡한 否정문을 다루는 데 어려움을 겪어 비유적 또는 맥락적으로 미묘한 언어를 처리하는 데 한계를 보였다.