[논문 리뷰] Exploring Conditional Text Generation for Aspect-Based Sentiment Analysis

Siva Uday Sampreeth Chebolu, Franck Dernoncourt외 2명|arXiv (Cornell University)|2021. 10. 05.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 목적어, 분석 대상, 긍정/부정 성향을 조건으로 하는 보조 문장 생성을 통해 감성 분석의 한 형태인 요소 기반 감성 분석(ABSA)을 새로운 조건부 텍스트 생성 프레임워크로 제안한다. T5와 BART를 기준 데이터셋에 피나이닝하여 최신의 상태를 달성하였으며, 특히 은유적 목적어 탐지 성능 향상과 이전의 시퀀스 레이블링 및 문장 쌍 분류 방법에서 발생하는 목적어 갈등 문제를 해결하였다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) is an NLP task that entails processing user-generated reviews to determine (i) the target being evaluated, (ii) the aspect category to which it belongs, and (iii) the sentiment expressed towards the target and aspect pair. In this article, we propose transforming ABSA into an abstract summary-like conditional text generation task that uses targets, aspects, and polarities to generate auxiliary statements. To demonstrate the efficacy of our task formulation and a proposed system, we fine-tune a pre-trained model for conditional text generation tasks to get new state-of-the-art results on a few restaurant domains and urban neighborhoods domain benchmark datasets.

연구 동기 및 목표

• 기존 ABSA 방법이 은유적 목적어 처리와 감성 삼중항 추출 시 목적어 갈등 문제를 애로로 느끼는 데서 기인한 한계를 해결하기 위해.
• 목적어 탐지, 분석 대상 분류, 긍정/부정 예측 등의 다중 하위 작업을 하나의 시퀀스-투-시퀀스 프레임워크로 통합하기 위해 ABSA를 조건부 텍스트 생성 작업으로 재정의하기 위해.
• T5와 BART와 같은 사전 훈련된 모델을 활용하여 맥락에 민감한 보다 표현력 있는 보조 문장을 생성함으로써 분석 대상-감성 관계를 인코딩하기 위해.
• 통합 생성 방식이 태스크별 특화 훈련보다 우수하며 다양한 ABSA 하위 작업에서 성능 향상을 이끌어내는 것을 입증하기 위해.
• 성능 향상 요인이 단지 모델 크기나 사전 훈련 데이터 크기 때문이 아니라, 생성 모델링 철학 자체 때문임을 검증하기 위해.

제안 방법

• 모델이 입력 맥락, 목적어, 분석 대상 카테고리, 감성 성향을 기반으로 자연어 문장을 생성하는 조건부 텍스트 생성 작업으로 ABSA를 재정의한다.
• 가짜 어휘 및 가짜 문장을 사용하여 (목적어, 분석 대상, 감성) 삼중항을 인코딩하는 훈련 데이터를 구성함으로써 의견 문장을 엔드 투 엔드로 생성할 수 있도록 한다.
• 시퀀스-투-시퀀스 목표를 사용하여 T5와 BART 모델을 네 가지 공개 ABSA 기준 데이터셋(레스토랑 및 도시 주거 지역 분야 포함)에 피나이닝한다.
• 목적어 탐지, 분석 대상 분류, 감성 예측을 동시에 최적화하기 위해 조건부 생성을 통한 다중 태스크 학습 프레임워크를 적용한다.
• 기준 비교를 위해 토큰 수준 표현에 대해 CRF 또는 소프트맥스 디코딩을 사용하지만, 제안된 방법은 순수하게 자동회귀 생성에 의존한다.
• T5-encoder 변형 모델을 평가하여 생성 아키텍처의 기여도를 모델 크기나 사전 훈련 데이터 크기의 영향과 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 요소 기반 감성 분석을 조건부 텍스트 생성 작업으로 효과적으로 재정의할 수 있는가? 이는 목적어, 분석 대상, 감성의 통합 추출을 향상시키는가?
• RQ2 제안된 생성 프레임워크는 다수의 ABSA 하위 작업에서 F1 스코어 측면에서 기존의 시퀀스 레이블링 및 문장 쌍 분류 방법을 초월하는가?
• RQ3 조건부 생성 방식은 이전 방법에 비해 은유적 목적어 탐지 능력에 얼마나 향상시키는가?
• RQ4 성능 향상 요인이 생성 모델링 철학 자체 때문인지, 단지 더 큰 사전 훈련된 모델을 사용한 덕분인가?
• RQ5 통합 생성 프레임워크는 문장 쌍 분류 방법에서 발생하는 목적어 갈등 문제를 어떻게 해결하는가?

주요 결과

• 제안된 조건부 텍스트 생성 프레임워크는 레스토랑 및 도시 주거 지역 분야를 포함한 네 가지 공개 ABSA 기준 데이터셋에서 새로운 최고 성능(SOTA)을 달성하였다.
• 기존의 분류 기반 접근 방식에서 자주 간과되는 은유적 목적어 탐지 성능이 크게 향상되었다.
• 조건부 생성을 통한 통합 훈련은 하위 태스크의 개별 피나이닝보다 우수한 성능을 보이며, 이는 이 제안된 설정에서 다중 태스크 모델링의 이점이 있음을 입증한다.
• T5-encoder 변형 모델은 BERT보다 더 큰 코퍼스에 사전 훈련된 덕분에 뛰어난 성능을 보였으며, 이는 성능 향상 요인이 단지 사전 훈련 데이터 크기 때문이 아니라 생성 아키텍처 자체의 기여 때문임을 확인한다.
• Wan 등(2020)의 문장 쌍 분류 방법에서 발생하는 중복되거나 모순되는 의견이 제거되는 목적어 갈등 문제를 성공적으로 해결하였다.
• 제거 분석(ablation study) 결과, 기존의 시퀀스 레이블링 또는 분류 방법보다 생성 방법이 더 표현력 있고 효과적임을 확인하였다.