[논문 리뷰] A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

Yue Mao, Yi Shen외 2명|arXiv (Cornell University)|2021. 01. 04.

Sentiment Analysis and Opinion Mining참고 문헌 38인용 수 29

한 줄 요약

본 논문은 ABSA를 두 개의 질의응답 task로 변환하고 두 개의 BERT-MRC 모델을 공동 학습시켜 aspect term, opinion term, sentiment를 추출하는 통합 듀얼-MRC 프레임워크를 제안하며, ABSA 하위 태스크 전반에서 최첨단 성과를 달성한다.

ABSTRACT

Aspect based sentiment analysis (ABSA) involves three fundamental subtasks: aspect term extraction, opinion term extraction, and aspect-level sentiment classification. Early works only focused on solving one of these subtasks individually. Some recent work focused on solving a combination of two subtasks, e.g., extracting aspect terms along with sentiment polarities or extracting the aspect and opinion terms pair-wisely. More recently, the triple extraction task has been proposed, i.e., extracting the (aspect term, opinion term, sentiment polarity) triples from a sentence. However, previous approaches fail to solve all subtasks in a unified end-to-end framework. In this paper, we propose a complete solution for ABSA. We construct two machine reading comprehension (MRC) problems and solve all subtasks by joint training two BERT-MRC models with parameters sharing. We conduct experiments on these subtasks, and results on several benchmark datasets demonstrate the effectiveness of our proposed framework, which significantly outperforms existing state-of-the-art methods.

연구 동기 및 목표

• AE, OE, SC를 엔드-투-엔드로 처리하는 통합 ABSA 프레임워크의 필요성을 제시한다.
• AE, OE, SC를 포함한 ABSA 하위 작업을 공유 파라미터 BERT 백본으로 두 개의 MRC 문제로 변환하는 것을 제안한다.
• AE, OE, SC, AESC, Pair, Triple 태스크를 포괄하도록 두 MRC 모델의 공동 학습을 시연한다.
• 벤치마크 ABSA 데이터셋에서 평가하고 최첨단 방법 대비 향상된 성능을 보인다.

제안 방법

• 공유 파라미터를 갖는 두 개의 BERT-MRC 모델이 문맥 정보를 인코딩한다.
• 왼쪽 MRC가 Aspect Term(AE)의 시작/종점 범위를 식별한다.
• 오른쪽 MRC가 각 AT에 대해 Opinion Term(OE)의 범위를 식별하고 sentiment polarity(SC)를 판정한다.
• 공동 손실은 AE, OE/SC(AOE) 및 감정 분류 목표를 가중치를 조정 가능한 형태로 결합한다.
• MRC 데이터셋 구성은 q1: '텍스트에서 관점 용어를 찾기'와 q2(AT): 'AT에 대한 감정 극성과 의견 용어를 텍스트에서 찾기'를 사용한다.

실험 결과

연구 질문

• RQ1 듀얼-MRC 모델링을 통해 ABSA 하위 작업을 하나의 통합 엔드-투-엔드 프레임워크로 해결할 수 있는가?
• RQ2 공유 파라미터를 갖는 BERT-MRC 모델이 AE, OE, SC, AESC, Pair, Triple 태스크의 추출 및 분류를 태스크별 접근 방식보다 향상시키는가?
• RQ3 엔드-투-엔드의 공동 학습이 ABSA에 대해 두 단계 또는 파이프라인 방식보다 더 효과적이고 효율적인가?
• RQ4 ABSA 태스크를 MRC 질의로 변환하는 것이 경계 탐지 및 감정 일관성 문제에 어떤 영향을 미치는가?

주요 결과

• 듀얼-MRC 프레임워크는 하나의 모델 내에서 AE, OE, SC, AESC, Pair, Triple을 처리할 수 있다.
• 공유 파라미터로 이루어진 공동 학습은 벤치마크 데이터셋에서 여러 ABSA 하위 태스크에 대해 최첨단 또는 경쟁력 있는 성과를 낳는다.
• 스팬 기반 추출과 MRC를 결합하면 이전의 통합 태깅 방식과 비교하여 경계 탐지 및 감정 정렬이 개선된다.
• 추론은 파이프라인 방식으로 좌측 MRC가 AT를 출력하고 우측 MRC가 각 AT에 대한 OT와 감정을 출력한다.
• 실험 결과는 SemEval ABSA 태스크에서 파생된 데이터셋에서 기준선 대비 눈에 띄는 향상을 보인다.