[논문 리뷰] GRACE: Gradient Harmonized and Cascaded Labeling for Aspect-based Sentiment Analysis

Huaishao Luo, Lei Ji외 3명|arXiv (Cornell University)|2020. 09. 22.

Sentiment Analysis and Opinion Mining참고 문헌 45인용 수 4

한 줄 요약

이 논문은 다중 헤드 어텐션을 통해 요약어 표기어 레이블을 활용하여 감성 극성 예측을 향상시키고, 기울기 조율 손실을 통해 클래스 불균형 문제를 해결하는 계단식 레이블링 프레임워크인 GRACE를 제안한다. 모델은 요약어와 균형 잡힌 학습 신호 간의 상호작용을 개선함으로써 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we focus on the imbalance issue, which is rarely studied in aspect term extraction and aspect sentiment classification when regarding them as sequence labeling tasks. Besides, previous works usually ignore the interaction between aspect terms when labeling polarities. We propose a GRadient hArmonized and CascadEd labeling model (GRACE) to solve these problems. Specifically, a cascaded labeling module is developed to enhance the interchange between aspect terms and improve the attention of sentiment tokens when labeling sentiment polarities. The polarities sequence is designed to depend on the generated aspect terms labels. To alleviate the imbalance issue, we extend the gradient harmonized mechanism used in object detection to the aspect-based sentiment analysis by adjusting the weight of each label dynamically. The proposed GRACE adopts a post-pretraining BERT as its backbone. Experimental results demonstrate that the proposed model achieves consistency improvement on multiple benchmark datasets and generates state-of-the-art results.

연구 동기 및 목표

• 요약어 추출 및 감성 분류를 시퀀스 레이블링 작업으로 모델링할 때 아직 탐색되지 않은 클래스 불균형 문제를 해결하기 위해.
• 계단식 아키텍처를 통해 요약어 간의 상호작용을 모델링하여 감성 극성 레이블링을 향상시키기 위해.
• 예측된 요약어 경계에 기반하여 감성 관련 토큰에 대한 어텐션을 향상시켜 감성 극성 레이블링을 조정하기 위해.
• 객체 검출에서 사용된 기울기 조율 손실을 요약어 기반 감성 분석의 시퀀스 레이블링으로 확장하기 위해.
• 후기 미세조정 및 도메인 특화 미세조정을 통한 엔드 투 엔드 학습을 통해 요약어-극성 동시 추출에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• GRACE는 ATE 브랜치에서 생성된 요약어 레이블을 ASC 브랜치의 입력으로 사용하여 요약어 간의 상호작용을 가능하게 하는 계단식 레이블링 아키텍처를 사용한다.
• ASC 브랜치는 스택된 다중 헤드 어텐션 메커니즘을 사용하여 요약어에 주의를 기울이고 감성 예측의 맥락을 향상시킨다.
• 각 레이블의 손실 가중치를 동적으로 조정하기 위해 기울기 조율 손실(GHL)이 적용되며, 이는 빈도가 높은 'O' 레이블의 지배를 줄이고 희귀 요약어에 대한 학습을 향상시킨다.
• 모델은 맥락적 표현을 위해 후기 미리 학습된 BERT 백본을 사용하며, ATE 및 ASC 브랜치 간에 하위 레이어를 공유한다.
• 가상의 적대적 훈련과 도메인 특화 후기 훈련이 추가로 적용되어 일반화 능력과 목표 데이터셋에서의 성능을 향상시킨다.
• 통합된 시퀀스 레이블링 프레임워크는 ATE와 ASC를 병렬 시퀀스 레이블링 작업으로 간주하여 계단식 모델의 오차 전파 문제를 방지한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 요약어 간의 상호작용을 효과적으로 모델링하여 요약어 기반 감성 분석에서 감성 극성 분류 성능을 향상시킬 수 있는가?
• RQ2 요약어 기반 감성 분석의 시퀀스 레이블링 작업에서의 클래스 불균형이 모델 성능에 미치는 영향은 어느 정도이며, 이를 어떻게 완화할 수 있는가?
• RQ3 원래 객체 검출에서 사용된 기울기 조율 기법을 요약어 기반 감성 분석의 시퀀스 레이블링 작업에 효과적으로 적용할 수 있는가?
• RQ4 요약어 예측에 기반하여 감성 레이블링을 조건화하는 계단식 레이블링 전략이 독립적 또는 병렬 레이블링보다 더 나은 성능을 내는가?
• RQ5 가상의 적대적 훈련과 도메인 특화 후기 훈련이 모델의 강건성과 일반화 능력에 어떤 기여를 하는가?

주요 결과

• GRACE는 SemEval-14 랩탑 데이터셋에서 F1 스코어 70.71%와 레스토랑 데이터셋에서 78.07%를 기록하여 계단식 레이블링 없이 학습된 BASE 모델(68.35% 및 76.76%)을 초월한다.
• 제거 실험 결과는 계단식 레이블링 전략이 요약어 간의 상호작용을 가능하게 하고 감성 관련 토큰에 대한 어텐션을 향상시켜 성능 향상을 이룬다는 것을 확인한다.
• 기울기 조율 손실은 지배적인 'O' 레이블의 영향을 크게 줄이며, 희귀 요약어에서의 성능 향상과 더 균형 잡힌 기울기 분포를 통해 그 효과가 입증된다.
• 사례 연구에서는 GRACE가 낮은 대비 조건에서도 감성 정확하게 식별함을 보여주며, 계단식 레이블링과 손실 재가중 기법의 효과를 입증한다.
• 가상의 적대적 훈련과 도메인 후기 훈련을 적용한 모델은 성능이 더욱 향상되며, 강건한 훈련과 도메인 적응의 이점이 있음을 시사한다.
• 결과는 제안된 프레임워크가 레이블 불균형과 요약어 간 상호작용 문제를 효과적으로 해결하여 다양한 벤치마크에서 일관된 성능 향상을 이끌어낸다는 것을 확인한다.