[논문 리뷰] VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification

Zhibin Lu, Pan Du외 1명|arXiv (Cornell University)|2020. 04. 12.

Topic Modeling참고 문헌 30인용 수 11

한 줄 요약

이 논문은 문장 수준의 문맥 정보(자기주의 어텐션을 통한 BERT)와 전역적 어휘 관계(그래프 컬러리션 네트워크(GCN) 임베딩을 통한)를 함께 모델링함으로써 텍스트 분류 성능을 향상시키기 위해 어휘 그래프에 기반한 그래프 컬러리션 네트워크(GCN)와 BERT를 통합한 하이브리드 모델인 VGCN-BERT를 제안한다. 다층 어텐션 메커니즘을 통해 단어 수준 표현과 그래프 수준 표현 간의 동적 상호작용을 가능하게 함으로써 다섯 개인 텍스트 분류 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Much progress has been made recently on text classification with methods based on neural networks. In particular, models using attention mechanism such as BERT have shown to have the capability of capturing the contextual information within a sentence or document. However, their ability of capturing the global information about the vocabulary of a language is more limited. This latter is the strength of Graph Convolutional Networks (GCN). In this paper, we propose VGCN-BERT model which combines the capability of BERT with a Vocabulary Graph Convolutional Network (VGCN). Local information and global information interact through different layers of BERT, allowing them to influence mutually and to build together a final representation for classification. In our experiments on several text classification datasets, our approach outperforms BERT and GCN alone, and achieve higher effectiveness than that reported in previous studies.

연구 동기 및 목표

• BERT가 문장 수준의 문맥을 초월한 전역적 어휘 관계를 포착하는 데에 한계가 있음을 해결한다.
• 기본 GCN가 텍스트 내 국소적 문법적 및 순차적 의존 관계를 모델링하는 데에 실패함을 극복한다.
• 통합된 딥 러닝 프레임워크 내에서 전역 어휘 구조와 국소적 문맥 표현을 통합한다.
• 자기주의 어텐션 메커니즘을 통해 국소(비트)와 전역(VGCN) 표현 간舣방향 상호작용을 가능하게 한다.
• 국소적 문맥과 전역적 어휘 의미를 함께 고려한 공동 표현 공간에서 텍스트 분류 성능을 향상시킨다.

제안 방법

• 대규모 코퍼스에서 단어 공출현 빈도를 바탕으로 점별 상호정보량(PMI)을 사용하여 어휘 그래프를 구축하여 의미 관계를 포착한다.
• 어휘 그래프에 기반한 그래프 컬러리션 네트워크(GCN)를 훈련시켜 전역 어휘 구조를 인코딩한 그래프 임베딩을 생성한다.
• BERT 인코더의 입력으로 BERT의 단어 임베딩과 VGCN의 그래프 임베딩을 연결한다.
• BERT 내의 멀티헤드 자기주의 어텐션 레이어를 통해 단어 임베딩과 그래프 임베딩 간의 상호작용을 허용하여 양 방식의 표현에 동적 어텐션을 가능하게 한다.
• 최종 BERT 레이어에서 [CLS] 토큰 표현을 사용하여 최종 텍스트 분류 작업을 수행한다.
• 추론 중에 단어 토큰과 그래프 임베딩 차원 양쪽 모두에 동적으로 어텐션을 집중시킬 수 있도록 학습 가능한 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 GCN를 통한 전역 어휘 구조 통합이 BERT의 텍스트 분류 성능 향상에 기여하는가?
• RQ2 국소(BERT)와 전역(VGCN) 표현 간의 상호작용은 별도 또는 연결된 융합 방식보다 더 나은 표현 학습을 이끌어내는가?
• RQ3 그래프 임베딩은 도메인 특화 어휘 지식이 필요한 암묵적 감성 표현을 해결하는 데 BERT에 도움이 되는가?
• RQ4 암묵적 감성 존재 시 BERT 내 어텐션 메커니즘이 단어 토큰과 그래프 임베딩 차원 간에 어떻게 분배되는가?
• RQ5 고정된 비상호작용 방식이 아닌 동적으로 어텐션을 집중시키는 방식으로 그래프 임베딩을 활용할 경우 성능 향상이 이루어지는가?

주요 결과

• VGCN-BERT는 다섯 개의 벤치마크 데이터셋 전부에서 가장 높은 F1 점수를 기록했으며, BERT와 GCN 단독 모델보다 뛰어난 성능을 보였다.
• IMDB 영화 리뷰 데이터셋에서 VGCN-BERT는 F1 점수 91.93을 기록했으며, 이는 Vanilla-VGCN-BERT와 BERT의 91.38보다 높은 성능이다. 이는 상호작용의 유용성을 입증한다.
• 혐오 발언 탐지 작업에서 VGCN-BERT는 F1 점수 81.26을 기록했으며, BERT의 80.59와 GCN의 66.61보다 유의미하게 높은 성능을 보였다.
• 시각화 결과 VGCN-BERT는 '혁신'과 같은 핵심 의미 개념과 관련된 그래프 임베딩 차원에 주목하는 것을 학습한 것으로 나타났으며, 이는 정확한 감성 분류에 필수적이다.
• VGCN-BERT의 어텐션 메커니즘은 깊이 있는 BERT 레이어들이 고수준 표현을 형성한 후에야 암묵적 감성과 관련된 그래프 임베딩 차원에 높은 어텐션을 집중하는 경향을 보였다.
• 반면, 상호작용 없이 임베딩을 연결하기만 하는 Vanilla-VGCN-BERT는 그래프 임베딩에 주목하지 못함을 확인했으며, 이는 효과적인 통합을 위해 상호작용이 필수적임을 증명한다.