[논문 리뷰] Does syntax matter? A strong baseline for Aspect-based Sentiment Analysis with RoBERTa

Junqi Dai, Hang Yan외 3명|arXiv (Cornell University)|2021. 04. 11.

Sentiment Analysis and Opinion Mining참고 문헌 16인용 수 12

한 줄 요약

이 논문은 RoBERTa를 aspect-based sentiment analysis (ABSA)에 피지테이닝한 결과, 감성어 중심의 문법적 구조를 암묵적으로 학습하며, 간단한 RoBERTa+MLP 모델이 네 가지 언어의 여섯 데이터셋에서 최신 기술 수준 또는 최신 기술 수준에 근접한 성능을 달성할 수 있음을 보여준다. 이는 외부 의존성 트리에 의존하는 더 복잡한 모델을 뛰어넘는 성과이다. 연구 결과, 피지테이닝된 RoBERTa가 유도한 트리 구조가 파서가 제공하는 트리와 오프더섀프 PTM가 유도한 트리보다도 우수한 성능을 보이며, 사전 훈련된 모델이 명시적인 문법적 특징 설계 없이도 작업에 특화된 문법적 추론을 내재화할 수 있음을 시사한다.

ABSTRACT

Aspect-based Sentiment Analysis (ABSA), aiming at predicting the polarities for aspects, is a fine-grained task in the field of sentiment analysis. Previous work showed syntactic information, e.g. dependency trees, can effectively improve the ABSA performance. Recently, pre-trained models (PTMs) also have shown their effectiveness on ABSA. Therefore, the question naturally arises whether PTMs contain sufficient syntactic information for ABSA so that we can obtain a good ABSA model only based on PTMs. In this paper, we firstly compare the induced trees from PTMs and the dependency parsing trees on several popular models for the ABSA task, showing that the induced tree from fine-tuned RoBERTa (FT-RoBERTa) outperforms the parser-provided tree. The further analysis experiments reveal that the FT-RoBERTa Induced Tree is more sentiment-word-oriented and could benefit the ABSA task. The experiments also show that the pure RoBERTa-based model can outperform or approximate to the previous SOTA performances on six datasets across four languages since it implicitly incorporates the task-oriented syntactic information.

연구 동기 및 목표

• 사전 훈련된 모델인 RoBERTa가 aspect-based sentiment analysis에 유용한 문법적 구조를 암묵적으로 학습하는지 조사하기.
• 표준 파서가 제공하는 트리와 사전 훈련된 모델(PTM) 및 피지테이닝된 PTM(FT-PTM)에서 유도된 트리 간의 성능 비교하기.
• 유도된 문법적 트리 구조를 RoBERTa 기반 모델에 통합했을 때 순수 RoBERTa 기반 모델에 비해 ABSA 성능 향상 여부 평가하기.
• 피지테이닝된 RoBERTa에서 유도된 트리의 구조적 특성 분석 및 감성어와의 정렬 정도 분석하기.

제안 방법

• 은닉 표현에서 페르투브드 메스킹 방법을 사용해 사전 훈련된 RoBERTa로부터 유사 의존성 트리를 유도하기.
• 여섯 개인 ABSA 데이터셋에 대해 RoBERTa를 피지테이닝하여 작업 적응형으로 유도된 트리(FT-RoBERTa 트리) 생성하기.
• 파서가 제공하는 트리, 오프더섀프 PTM가 유도한 트리, FT-PTM가 유도한 트리를 사용한 트리 기반 ABSA 모델의 성능 비교하기.
• 외부 문법적 특징 없이 간단한 MLP 헤드를 사용한 RoBERTa 기반 모델을 네 가지 언어의 여섯 데이터셋에서 평가하기.
• 두 가지 지표를 통해 트리 구조 분석: 인접 연결 비율 및 아웃피스-감성 거리(AsD).
• 유도된 트리를 RoBERTa에 추가했을 때 성능 향상 여부를 분석하기 위해 아블레이션 스터디 수행하기.

실험 결과

연구 질문

• RQ1 피지테이닝된 RoBERTa에서 유도된 트리가 표준 파서가 생성한 의존성 트리보다 ABSA 작업에서 성능이 뛰어나나?
• RQ2 ABSA에 대해 피지테이닝하는 과정에서 RoBERTa가 암묵적으로 학습하는 문법적 구조가 수작업 또는 파싱된 문법적 특징보다 더 유익한가?
• RQ3 RoBERTa를 피지테이닝함으로써 유도된 트리 구조가 얼마나 감성어 중심으로 변화하는가?
• RQ4 RoBERTa에서 유도된 트리를 통합함으로써 순수 RoBERTa+MLP 기반 모델에 비해 성능 향상이 이루어지는가?
• RQ5 이전의 RoBERTa 기반 ABSA 모델들이 성능이 열등한 이유는 최적화나 아키텍처 선택 때문인가?

주요 결과

• 간단한 MLP 헤드를 갖춘 RoBERTa 모델이 네 가지 언어의 여섯 개 ABSA 데이터셋에서 최신 기술 수준 또는 최신 기술 수준에 근접한 성능을 달성하며, 외부 문법적 구조에 의존하는 더 복잡한 모델들을 뛰어넘었다.
• 피지테이닝된 RoBERTa(FT-RoBERTa)에서 유도된 트리가 하향식 ABSA 작업에서 파서가 제공하는 의존성 트리와 오프더섀프 PTM가 유도한 트리보다 성능이 뛰어났다.
• FT-RoBERTa에서 유도된 트리의 아웃피스-감성 거리(AsD)가 유의미하게 낮아, 아웃피스와 감성어 간의 연결이 더 짧고 직접적임을 시사했다.
• 피지테이닝 후 FT-RoBERTa에서 유도된 트리의 인접 연결 비율이 감소하여 감성 분류에 관련된 장거리 의존성을 더 잘 모델링하고 있음을 나타냈다.
• RoBERTa 기반 모델에 유도된 트리를 통합했을 때 성능 향상이 이루어지지 않거나 오히려 성능 저하가 발생하는 경우가 있어, 암묵적 문법적 구조와 명시적 문법적 구조 사이에 잠재적 갈등이 있음을 시사했다.
• 분석 결과, ABSA에 대해 RoBERTa를 피지테이닝함으로써 유도된 트리 구조가 감성어 중심으로 암묵적으로 적응함을 확인하였으며, 명시적 문법적 특징 설계 없이도 성능 향상이 가능함을 입증했다.