[논문 리뷰] Attentional Encoder Network for Targeted Sentiment Classification

Youwei Song, Jiahai Wang외 3명|arXiv (Cornell University)|2019. 02. 25.

Topic Modeling참고 문헌 26인용 수 197

한 줄 요약

이 논문은 Targeted Sentiment Classification용 비순환적 주의 기반 모델인 Attentional Encoder Network (AEN)을 소개하고, 라벨 스무딩을 강화하며, BERT 통합으로 최첨단 결과를 보여준다.

ABSTRACT

Targeted sentiment classification aims at determining the sentimental tendency towards specific targets. Most of the previous approaches model context and target words with RNN and attention. However, RNNs are difficult to parallelize and truncated backpropagation through time brings difficulty in remembering long-term patterns. To address this issue, this paper proposes an Attentional Encoder Network (AEN) which eschews recurrence and employs attention based encoders for the modeling between context and target. We raise the label unreliability issue and introduce label smoothing regularization. We also apply pre-trained BERT to this task and obtain new state-of-the-art results. Experiments and analysis demonstrate the effectiveness and lightweight of our model.

연구 동기 및 목표

• 타깃 감정 분석의 필요성과 RNN 기반 인코더의 한계를 제시한다.
• 순환 없이 타깃-맥락 상호작용을 모델링하는 가벼운 주의 인코더를 제안한다.
• 중립 감정에서의 라벨 불신실성을 다루기 위한 라벨 스무딩 정규화를 도입한다.
• BERT의 통합이 성능을 향상시키는지 입증하고 모델 규모 분석을 제공한다.

제안 방법

• 단어를 GloVe 또는 BERT로 임베딩한다(AEN-GloVe 대 AEN-BERT).
• 병렬적 주의 인코더를 사용하여 intra-MHA(맥락 자체 주의)와 inter-MHA(맥락에서 타깃으로)로 구성하고, 타깃 특화 MHA를 이어 적용한다.
• 표현을 다듬기 위해 점별 합성 변환(PCT)을 적용한다.
• 평균 풀링과 Dense 계층으로 요약하여 소프트맥스 분류를 수행한다.
• Neutral 라벨의 불신실성을 완화하기 위해 라벨 스무딩 정규화(LSR)를 도입하고, 교차 엔트로피 + LSR + L2 정규화를 통해 최적화한다.

실험 결과

연구 질문

• RQ1 비순환적 주의 인코더가 타깃과 맥락 간의 상호작용을 효과적으로 모델링하여 Targeted Sentiment Classification에 활용될 수 있는가?
• RQ2 라벨 스무딩이 신뢰할 수 없는 중립 라벨에 대한 강건성을 향상시키는가?
• RQ3 BERT-향상 AEN이 표준 BERT 기반 baselines 및 RNN 기반 모델과 비교하여 Targeted Sentiment 작업에서 어떤 차이를 보이는가?
• RQ4 순환 아키텍처와 비교했을 때 모델 크기 및 계산 효율성에서 어떤 트레이드오프가 나타나는가?

주요 결과

• AEN-BERT와 AEN-GloVe는 Twitter, Restaurant, Laptop 데이터셋에서 경쟁력 있거나 더 우수한 정확도 및 Macro-F1을 달성한다.
• 제안된 구성 요소가 없는 Ablation(AEN-GloVe w/o PCT, w/o MHA, w/o LSR)보다 성능이 우수하며 각 모듈의 중요성을 시사한다.
• BERT-SPC 및 AEN-BERT가 크게 향상되었으며, AEN-BERT가 BERT-SPC를 능가하여 사전학습된 모델 위에 작업에 맞춘 아키텍처의 이점을 보여준다.
• AEN-GloVe는 순환 모델에 비해 파라미터 수와 메모리 사용이 적은 경량 대안이다.
• 라벨 스무딩(LSR)이 중립 라벨의 불신실성으로 인해 성능을 크게 향상시킨다.
• BERT 기반 변형은 작업 특정 다운스트림 아키텍처의 가치를 시사하는 강력한 향상을 보인다.