[논문 리뷰] A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis

Yunlong Liang, Fandong Meng외 4명|arXiv (Cornell University)|2020. 04. 04.

Sentiment Analysis and Opinion Mining참고 문헌 63인용 수 8

한 줄 요약

이 논문은 종단간 분류 기반 감성 분석(ABSA)을 위한 다중 작업 학습을 통한 종속 구문 지식 증강 상호작용 아키텍처를 제안한다. 종속 관계를 통합한 그래프 컨볼루션 네트워크(DreGcn)를 도입하여 문법적 관계와 유형을 극대화하여, 세 가지 벤치마크 데이터셋에서 최신 기술을 뛰어넘는 성능을 기록하며, BERT를 통한 보완으로 추가 성능 향상을 이룬다.

ABSTRACT

The aspect-based sentiment analysis (ABSA) task remains to be a long-standing challenge, which aims to extract the aspect term and then identify its sentiment orientation.In previous approaches, the explicit syntactic structure of a sentence, which reflects the syntax properties of natural language and hence is intuitively crucial for aspect term extraction and sentiment recognition, is typically neglected or insufficiently modeled. In this paper, we thus propose a novel dependency syntactic knowledge augmented interactive architecture with multi-task learning for end-to-end ABSA. This model is capable of fully exploiting the syntactic knowledge (dependency relations and types) by leveraging a well-designed Dependency Relation Embedded Graph Convolutional Network (DreGcn). Additionally, we design a simple yet effective message-passing mechanism to ensure that our model learns from multiple related tasks in a multi-task learning framework. Extensive experimental results on three benchmark datasets demonstrate the effectiveness of our approach, which significantly outperforms existing state-of-the-art methods. Besides, we achieve further improvements by using BERT as an additional feature extractor.

연구 동기 및 목표

• 기존 ABSA 모델이 종속 관계와 유형을 효과적으로 모델링하지 못하는 한계를 해결하기 위해.
• 다양한 관련 작업에서 공유된 표현을 통해 동시에 개선함으로써 개별 어휘 항목 추출 및 수준별 감성 분류를 향상시키기 위해.
• 더 풍부한 문법적 표현을 위해 종속 관계 유형을 명시적으로 인코딩하는 그래프 신경망을 설계하기 위해.
• 다중 작업 학습 프레임워크 내에서 효과적인 메시지 전달 메커니즘을 통해 성능을 향상시키기 위해.
• BERT의 문맥적 특징과 종속 지식을 통합하여 표준 ABSA 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 문장의 그래프 표현에서 종속 관계와 그 유형을 간선 특징으로 모델링하는 종속 관계 통합 그래프 컨볼루션 네트워크(DreGcn)를 제안한다.
• 단어를 노드로, 종속 관계(유형 포함)를 방향성 간선으로 갖는 종속 그래프를 구성하여 구조적 메시지 전달을 가능하게 한다.
• 공유된 표현을 통해 동시에 개선되는 개별 어휘 항목 추출 및 감성 분류를 최적화하는 다중 작업 학습 프레임워크를 도입한다.
• 다른 작업 간 지식 전이를 가능하게 하는 메시지 전달 메커니즘을 설계하여 관련 작업 간 표현 학습을 향상시킨다.
• 더욱 풍부한 문맥 표현을 위해 BERT를 추가 특징 추출기로 통합하여 성능 향상을 추가로 이룬다.
• 통합 태깅 체계를 사용하여 종단간 ABSA 작업을 동시에 어휘와 감성 예측을 수행하는 시퀀스 레이블링 문제로 프레임화한다.

실험 결과

연구 질문

• RQ1 종속 관계 유형을 명시적으로 모델링하면 분류 기반 감성 분석 성능 향상에 기여하는가?
• RQ2 문법 지식을 통합한 다중 작업 학습이 어휘 항목 추출 및 감성 분류에 어떻게 기여하는가?
• RQ3 종속 유형을 인코딩하는 그래프 컨볼루션 네트워크가 ABSA에서 기존 GCN보다 우수한 성능을 내는가?
• RQ4 BERT 표현을 통합하면 종속 지식 증강 ABSA 모델의 성능을 얼마나 더 향상시키는가?
• RQ5 제안된 메시지 전달 메커니즘이 어휘 추출 및 감성 분류 작업 간 지식 전이에 효과적으로 기여하는가?

주요 결과

• 제안된 DreGcn 모델은 세 가지 표준 ABSA 벤치마크 데이터셋에서 기존 최신 기술을 뛰어넘는 성능을 기록하며, 새로운 최고 성능(SOTA)을 달성한다.
• 모델은 그래프 컨볼루션 아키텍처를 통해 종속 관계 유형을 극대화하여 뛰어난 성능을 달성한다.
• 제안된 메시지 전달 메커니즘을 통한 다중 작업 학습 프레임워크는 어휘 추출 및 감성 분류 간 효과적인 지식 전이를 가능하게 한다.
• BERT를 추가 특징 추출기로 통합함으로써 모든 데이터셋에서 추가적인 성능 향상이 이루어진다.
• 절단 분석 결과 종속 관계 유형과 메시지 전달 메커니즘이 모델 성능 향상에 효과적임을 확인한다.
• 사례 연구를 통해 모델이 복잡한 문법적 종속 관계, 예를 들어 의견 어휘와 어휘 항목 간의 다단계 관계를 정확히 포착함을 확인한다.