[논문 리뷰] MEMD-ABSA: A Multi-Element Multi-Domain Dataset for Aspect-Based Sentiment Analysis

Hongjie Cai, Nan Song외 8명|arXiv (Cornell University)|2023. 06. 29.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 논문은 다섯 가지 도메인(책, 의류, 호텔, 레스토랑, 노트북)을 포함하여 약 20,000개의 리뷰 문장과 약 30,000개의 명시적 및 암시적 요소를 포함하는 대규모, 다중 도메인, 다중 요소 ABSA 데이터셋인 MEMD-ABSA를 소개한다. 개방형 설정에서 평가된 결과, 생성형 및 비생성형 모델 모두 암시적 요소 및 의견 추출에서 성능 저하를 보이며, 이 분야에서 여전히 도전 과제가 존재하고 있음을 시사한다.

ABSTRACT

Aspect-based sentiment analysis is a long-standing research interest in the field of opinion mining, and in recent years, researchers have gradually shifted their focus from simple ABSA subtasks to end-to-end multi-element ABSA tasks. However, the datasets currently used in the research are limited to individual elements of specific tasks, usually focusing on in-domain settings, ignoring implicit aspects and opinions, and with a small data scale. To address these issues, we propose a large-scale Multi-Element Multi-Domain dataset (MEMD) that covers the four elements across five domains, including nearly 20,000 review sentences and 30,000 quadruples annotated with explicit and implicit aspects and opinions for ABSA research. Meanwhile, we evaluate generative and non-generative baselines on multiple ABSA subtasks under the open domain setting, and the results show that open domain ABSA as well as mining implicit aspects and opinions remain ongoing challenges to be addressed. The datasets are publicly released at \url{https://github.com/NUSTM/MEMD-ABSA}.

연구 동기 및 목표

• 명시적 및 암시적 요소와 의견을 모두 포함하는 대규모, 다중 도메인 ABSA 데이터셋의 부족을 해결하기 위해.
• 기존 데이터셋이 규모가 작고 단일 도메인(예: 레스토랑, 노트북)에 국한되며 암시적 감성 요소를 무시하는 등의 한계를 극복하기 위해.
• 내부 도메인, 교차 도메인, 외부 도메인 시나리오를 포함한 개방형 설정에서 ABSA 모델의 종합적 평가를 가능하게 하기 위해.
• 요소, 카테고리, 의견, 감성의 네 가지 요소를 포함한 다중 요소 추출을 위한 표준화되고 고도로 품질 보장된 애너테이션 가이드라인 제공을 위해.
• 생성형 및 비생성형 모델을 다양한 하위 작업에서 벤치마킹하여 암시적 요소 및 의견을 다루는 데 있어 지속적인 과제를 드러내기 위해.

제안 방법

• 저자들은 책, 의류, 호텔, 레스토랑, 노트북의 다섯 도메인에 걸쳐 약 20,000개의 리뷰 문장을 수작업으로 애너테이션하여 새로운 데이터셋인 MEMD-ABSA를 구축했다.
• 각 문장은 명시적 및 암시적 사례를 포함하여 요소 어휘, 요소 카테고리, 의견 어휘, 감성 극성의 네 가지 요소로 애너테이션되었다.
• 일致성과 신뢰성을 확보하기 위해 상세하고 표준화된 가이드라인을 따르며 애너테이션 과정을 수행했으며, 이중 애너테이터 간 일치도를 측정하고 보고하였다.
• 데이터셋에는 약 30,000개의 4중조가 포함되어 있으며, SemEval-2014/2016와 같은 이전 벤치마크보다 크게 규모가 크다.
• 저자들은 개방형 설정에서 ASPE, AOPE, AOS, ACS, ACOS 등의 하위 작업을 대상으로 최신 상태의 모델들—예를 들어 T5-index, T5-paraphrase와 같은 생성형 모델과 비생성형 모델—을 평가했다.
• 모델의 일반화 능력과 강건성을 평가하기 위해 내부 도메인, 교차 도메인, 외부 도메인 설정에서 평가를 수행했다.

실험 결과

연구 질문

• RQ1 대규모, 다중 도메인 데이터셋에서 명시적 및 암시적 요소와 의견을 포함한 상태에서, 다양한 ABSA 하위 작업(예: ASPE, AOPE, AOS, ACS, ACOS)에서 모델 성능가 어떻게 변하는가?
• RQ2 생성형 및 비생성형 모델이 다중 요소 ABSA 환경에서 외부 도메인 설정으로 일반화되는 정도는 어느 정도인가?
• RQ3 암시적 요소와 의견을 포함함으로써 ABSA 모델의 성능가 명시적 데이터로만 훈련된 모델과 비교해 어떻게 영향을 받는가?
• RQ4 T5 기반 모델들(예: T5-index, T5-paraphrase)이 다양한 도메인에서 ACOS 4중조 추출에 있어 상대적인 강점과 약점은 무엇인가?
• RQ5 MEMD-ABSA 데이터셋의 규모와 다양성이 이전의 벤치마크와 비교해 ABSA 모델 평가를 어떻게 향상시키는가?

주요 결과

• 모든 모델의 성능, 특히 ACOS(요소-카테고리-의견-감성 4중조) 작업에서 암시적 요소와 의견이 포함될 경우 뚜렷한 성능 저하가 발생하며, 이는 암시적 요소 추출이 여전히 주요 과제로 남아 있음을 시사한다.
• T5-index와 T5-paraphrase는 다양한 도메인에서 거의 최적의 성능을 기록했으며, AOS 작업에서는 T5-index가 T5-paraphrase를 앞서며, ACOS 작업에서는 유사한 성능을 보였다.
• 명시적 예시만으로 훈련된 모델는 명시적 및 암시적 예시를 모두 포함한 데이터셋으로 훈련된 모델보다 일관되게 낮은 성능을 보였으며, 이는 암시적 요소 탐지의 어려움을 확인한다.
• 대규모 언어 모델의 발전에도 불구하고, 특히 암시적 요소 및 의견에 대한 개방형 ABSA는 여전히 열려 있고 도전적인 문제로 남아 있음을 결과가 입증한다.
• MEMD-ABSA 데이터셋은 도메인 간 더 강력하고 일반화 가능한 ABSA 모델 평가를 가능하게 하여, 이전의 소규모 내부 도메인 벤치마크에서 가려졌던 성능 격차를 드러낸다.