[논문 리뷰] Survey of Aspect-based Sentiment Analysis Datasets

Siva Uday Sampreeth Chebolu, Franck Dernoncourt외 2명|arXiv (Cornell University)|2022. 04. 11.

Sentiment Analysis and Opinion Mining인용 수 8

한 줄 요약

이 종합 검토는 25개 이상의 도메인과 98개의 언어를 아우르는 98개의 공개된 액서트-기반 감성 분석(ABSA) 데이터셋을 종합하고 분석하여, 하위 작업, 주석 실천 방식, 데이터셋 특성에 대한 종합적인 개요를 제공한다. 감성 어휘 주석과 리뷰 수준의 ABSA에서의 주요 과제를 규명하고, 표준화되고 다양한 종류의 다국어 데이터셋을 권장하며, 평가의 공정성과 모델의 강건성을 향상시키기 위해 공동체 기반 플랫폼을 제안한다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) is a natural language processing problem that requires analyzing user-generated reviews to determine: a) The target entity being reviewed, b) The high-level aspect to which it belongs, and c) The sentiment expressed toward the targets and the aspects. Numerous yet scattered corpora for ABSA make it difficult for researchers to identify corpora best suited for a specific ABSA subtask quickly. This study aims to present a database of corpora that can be used to train and assess autonomous ABSA systems. Additionally, we provide an overview of the major corpora for ABSA and its subtasks and highlight several features that researchers should consider when selecting a corpus. Finally, we discuss the advantages and disadvantages of current collection approaches and make recommendations for future corpora creation. This survey examines 65 publicly available ABSA datasets covering over 25 domains, including 45 English and 20 other languages datasets.

연구 동기 및 목표

• 모델 훈련과 평가를 방해하는 산산이 흩어져 있고 일관성 없는 ABSA 데이터셋 문제를 해결하기 위해.
• 연구자들이 사용할 수 있는 중앙집중식이며 검색 가능하고 확장 가능한 공개 ABSA 데이터셋 데이터베이스를 제공하기 위해.
• 기존 데이터 수집 방식의 강점과 한계를 분석하고 향후 데이터셋 제작을 안내하기 위해.
• 감성 어휘 주석의 중요성과 보다 종합적인 감성 이해를 위해 리뷰 수준의 ABSA로의 전환을 강조하기 위해.
• 표준화, 다국어 커버리지, 강력한 주석자 간 일致성 확보를 통해 모델 일반화와 평가의 공정성을 향상시키기 위해 주장하기 위해.

제안 방법

• 다양한 도메인과 언어에서 공개된 98개의 ABSA 데이터셋에 대한 체계적 검토 및 정리.
• 하위 작업, 주석 형식, 요소의 세분성(용어 대 카테고리), 감성 극성 레이블링 기반의 데이터셋 분류.
• 12개의 하위 작업(예: 요소 용어 추출(ATE), 요소 카테고리 분류(ACC), 대상 감성 탐지(TSD), 의견 어휘 추출(AOPE), 그리고 ASTE 및 ASQP와 같은 통합 작업)에 걸쳐 데이터셋 성능 평가.
• 낮은 수준의 작업들(예: TSD, ASD)과 높은 수준의 통합 작업들(예: ASQP) 간의 성능 격차 분석을 통해 삼중항 병합 과정에서의 버티브를 규명.
• 지속적인 데이터셋 기여와 업데이트를 가능하게 하는 실시간, 공동체 유지 관리 웹사이트(https://github.com/RiTUAL-UH/ABSA-Datasets-Info) 구축.
• 모델 일반화 능력을 평가하기 위해 데이터셋 간 정량적 벤치마크 비교(예: SemEval-2014, SemEval-2015, ACOS, rest_acos)를 활용하여 작업 복잡도 평가.

실험 결과

연구 질문

• RQ1 특정 하위 작업(예: 요소 용어 추출 또는 의견 어휘 식별)에 대해 모델 훈련과 평가에 가장 적합한 ABSA 데이터셋은 무엇인가?
• RQ2 성능 지표는 다양한 하위 작업 간에 어떻게 달라지며, 고립된 작업에서의 높은 성능와 ASQP와 같은 통합 작업에서의 낮은 성능 간 격차는 무엇을 설명하는가?
• RQ3 현재 데이터셋 수집 방식의 주요 한계는 무엇인가, 특히 의견 어휘 주석과 리뷰 수준의 감성 분석 측면에서?
• RQ4 향후 ABSA 데이터셋은 표준화, 다국어 커버리지, 주석자 간 일치성 측면에서 어떻게 개선될 수 있는가, 이를 통해 모델의 강건성을 향상시킬 수 있는가?
• RQ5 공동체 기반의 확장 가능한 플랫폼은 최신 상태를 유지하고, 종합적이며 접근 가능한 ABSA 데이터셋 레포지터리를 유지하는 데 어떤 역할을 할 수 있는가?

주요 결과

• ACOS_lap과 rest_acos와 같은 데이터셋은 요소 및 대상 감성 탐지(TSD 및 ASD)에서 뛰어난 성능를 보이지만, ASTE 및 ASQP와 같은 통합 작업에서는 성능이 크게 떨어지며, 이는 여러 주석을 통합하는 데 어려움이 있음을 시사한다.
• SE-15 및 SE-16와 같은 데이터셋에서 의견 어휘 추출(AOPE)과 TSD 또는 ASD와 같은 다른 작업 간의 성능 격차는 의견 어휘 주석이 ABSA에서 주요 버티브임을 시사한다.
• 개별 작업에서 높은 주석자 간 일치도를 보일지라도, 네 개의 요소(대상, 요소, 의견, 감성)를 정렬하는 복잡성으로 인해 ASQP에서의 전체 성능가 낮아지며, 이는 통합 추출의 어려움을 강조한다.
• 이 연구는 기본 작업에서의 높은 성능(TSD 등)이 ASQP와 같은 종합적인 작업에서의 성공을 보장하지는 않음을 드러내며, 이는 상호작용 작업 간 의존성에 대한 더 나은 모델링이 필요함을 시사한다.
• 명확한 의견 어휘 표현을 가진 데이터셋은 AOPE 점수에서 더 우수한 성능를 보이지만, 여전히 ASQP 성능는 최적화되지 않아, 핵심 과제가 정확하고 일관된 통합 예측에 있음을 시사한다.
• 이 조사에서는 표준화되고 다국어를 포함하며 리뷰 수준의 ABSA 데이터셋이 특히 자원이 부족한 언어에서 필수적임을 규명하며, 이는 모델의 일반화 능력과 실제 적용 가능성을 향상시키기 위함이다.