[논문 리뷰] BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification

Zeguan Xiao, Jiarun Wu외 2명|arXiv (Cornell University)|2021. 10. 01.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 7

한 줄 요약

BERT4GCN는 중간 BERT 레이어에서 추출한 문법적 순차적 특징과 문법적 의존성 그래프를 융합함으로써 그래프 컨volution 네트워크(GCN)의 성능을 향상시키는 새로운 프레임워크를 제안한다. BERT의 계층적 언어 표현, 상대적 위치 인코딩, 그리고 주의 기반 의존성 그래프 정제를 통합함으로써, SemEval 2014 및 Twitter 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Graph-based Aspect-based Sentiment Classification (ABSC) approaches have yielded state-of-the-art results, expecially when equipped with contextual word embedding from pre-training language models (PLMs). However, they ignore sequential features of the context and have not yet made the best of PLMs. In this paper, we propose a novel model, BERT4GCN, which integrates the grammatical sequential features from the PLM of BERT, and the syntactic knowledge from dependency graphs. BERT4GCN utilizes outputs from intermediate layers of BERT and positional information between words to augment GCN (Graph Convolutional Network) to better encode the dependency graphs for the downstream classification. Experimental results demonstrate that the proposed BERT4GCN outperforms all state-of-the-art baselines, justifying that augmenting GCN with the grammatical features from intermediate layers of BERT can significantly empower ABSC models.

연구 동기 및 목표

• 기존의 GCN 기반 ABSC 모델이 순차적 및 문법적 의존성을 효과적으로 포착하지 못하는 데서 기인하는 한계를 해결하기 위해.
• 특히 문법적 및 문법적 특징을 포함한 BERT의 중간 레이어에서의 계층적 언어 지식을 활용하여 감성 분류 성능을 향상시키기 위해.
• BERT의 자기주의 주의 맵핑을 이용한 의존성 그래프 정제 및 상대적 위치 정보를 통합하여 GCN 표현을 향상시키기 위해.
• 사전 훈련된 언어 지식을 직접 BERT에서 가져와, 다시 학습하지 않고도 ABSC 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 상대적 위치 인코딩 및 주의 기반 그래프 정제와 같은 구성 요소 모듈의 효과를 제거 실험을 통해 검증하기 위해.

제안 방법

• BERT의 중간 레이어에서 추출한 은닉 상태를 활용해 GCN의 노드 표현을 풍부화함으로써, 문법적 및 순차적 특징을 포착한다.
• 양방향 LSTM(BiLSTM)을 사용해 단어 순서와 맥락을 인코딩하고, GCN의 노드 표현을 그 은닉 상태로 초기화한다.
• 이웃 집합 집계 과정에서 BERT의 중간 레이어 출력과 GCN 은닉 상태를 융합함으로써, 문법적 맥락을 반영한 메시지 전달을 강화한다.
• BERT의 트랜스포머 인코더에서 유도한 자기주의 주의 맵핑을 활용해 의존성 그래프 간선을 정제하고 재가중함으로써, 파싱 오류로 인한 노이즈를 감소시킨다.
• GCN가 위치에 민감하도록 상대적 위치 임베딩 모듈을 도입함으로써, 개별 어휘와 감성 어휘 간 장거리 의존성을 더 잘 모델링할 수 있도록 한다.
• BERT가 언어 사전 지식을 제공하고 GCN이 그래프 기반 메시지 전달을 수행하는 하이브리드 아키텍처를 구성하며, 감성 분류를 위한 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 BERT의 중간 레이어에서 추출한 문법적 및 문법적 특징을 활용하면 GCN 기반 감성 분류 성능이 향상되는가?
• RQ2 상대적 위치 인코딩을 통합할 경우, 의존성 그래프 품질과의 관계에서 GCN의 성능에 어떤 영향을 미치는가?
• RQ3 주의 기반 의존성 그래프 정제가 노이즈가 많은 또는 도메인 외부 데이터에서 모델의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 제안된 BERT4GCN 프레임워크가 SemEval 2014 및 Twitter와 같은 표준 ABSC 벤치마크에서 기존 최고 성능 모델을 초월하는가?
• RQ5 상대적 위치 인코딩의 창 크기가 다양한 도메인에서의 개별 어휘와 감성 어휘 간 거리 분포에 따라 성능에 어떤 영향을 미치는가?

주요 결과

• BERT4GCN는 랩탑, 레스토랑, 트위터의 세 가지 기준 벤치마크 데이터셋에서 모두 최고 성능을 기록하며, 이전의 BERT 기반 및 GCN 기반 모든 모델을 능가한다.
• 도메인 외부 데이터셋인 트위터에서의 성능 향상이 두드러지게 나타나, BERT의 중간 특징을 활용할 경우 도메인 이동에 대한 강건성이 향상됨을 시사한다.
• 제거 실험 결과, 상대적 위치 또는 그래프 정제 모듈 없이도 BERT의 중간 표현을 GCN에 융합하기만 해도 SOTA 성능을 달성함을 확인하였다.
• 상대적 위치 모듈만 단독으로 사용할 경우 성능이 저하되나, 주의 기반 그래프 정제와 결합할 경우 정확도가 크게 향상됨을 확인하여, 위치 편향과 그래프 품질 간의 상호 보완성이 있음을 입증하였다.
• 최적의 상대적 위치 창 크기는 데이터셋에 따라 달라진다: 트위터와 랩탑에는 작은 창 크기가 유리하고, 레스토랑에는 더 큰 창 크기가 선호됨을 확인하여, 도메인 특화된 개별 어휘 간 거리 패턴을 반영함을 시사한다.
• 주의 기반 의존성 그래프 정제를 통해 불필요한 간선(특히 감성과 관련 없는 단어와 가까운 개별 어휘를 연결하는 간선)을 제거함으로써 노이즈를 감소시키고, 모델의 일반화 능력을 향상시켰다.