[논문 리뷰] A Fine-Grained Sentiment Dataset for Norwegian

Lilja Øvrelid, Petter Mæhlum외 2명|arXiv (Cornell University)|2019. 11. 28.

Sentiment Analysis and Opinion Mining참고 문헌 37인용 수 24

한 줄 요약

이 논문은 노르웨이어를 위한 첫 번째 세분화된 감성 분석 데이터셋인 NoReC${}_{\text{fine}}$를 소개한다. 이 데이터셋은 다양한 리뷰 도메인에서 극성 표현, 대상, 소유주, 극성 강도를 포함해 애너테이션되어 있으며, 애너테이션 가이드라인, 이 annotator 간 일致도 통계, 그리고 기초 신경망 모델이 제시된다. 이 모델들은 소유주에 대해 42.4 F1(비율 기반), 극성 표현에 대해 61.5 F1(이진 기반)의 성능을 기록하여 노르웨이어 감성 분석의 기준을 설정한다.

ABSTRACT

We introduce NoReC_fine, a dataset for fine-grained sentiment analysis in Norwegian, annotated with respect to polar expressions, targets and holders of opinion. The underlying texts are taken from a corpus of professionally authored reviews from multiple news-sources and across a wide variety of domains, including literature, games, music, products, movies and more. We here present a detailed description of this annotation effort. We provide an overview of the developed annotation guidelines, illustrated with examples, and present an analysis of inter-annotator agreement. We also report the first experimental results on the dataset, intended as a preliminary benchmark for further experiments.

연구 동기 및 목표

• 스칸디나비아어에서 저자원 NLP 자원의 부족을 해결하기 위해 노르웨이어를 위한 첫 번째 세분화된 감성 분석 데이터셋을 구축하는 것.
• 전문 리뷰에서 극성 표현, 대상, 소유주, 극성 강도에 대한 세부적인 애너테이션 가이드라인을 개발하는 것.
• 신경망 시퀀스 레이블링 모델을 사용하여 노르웨이어의 세분화된 감성 분석에 기준을 설정하는 것.
• 실제 데이터 분포의 변화를 반영하기 위해 다양한 도메인에서 모델 성능을 평가하는 것.
• 공개적으로 데이터셋과 가이드라인을 제공함으로써 향후 多국어 및 교차 도메인 감성 분석 연구를 가능하게 하는 것.

제안 방법

• 애너테이터들이 노르웨이 리뷰 코퍼스(NoReC)에서 유래한 300개의 전문 노르웨이어 리뷰에서 극성 표현, 대상, 소유주, 극성 강도(약한/평균/강한)를 애너테이션했다.
• 애너테이션 체계는 주관적 표현과 사실에 기반한 비개인적 평가를 모두 포함하며, 1인칭 소유주 및 주제와 관련된 대상에 특수 레이블을 할당한다.
• 이 annotator 간 일치도는 비율 기반 및 이진 오버랩 메트릭을 사용해 측정되었으며, 모든 애너테이션 유형에서 중간에서 중간 이상의 일치도를 보였다.
• 기초 신경망 모델은 NoReC${}_{\text{fine}}$ 데이터셋에 맞춰 미세조정된 100차원 fastText 단어 임베딩을 사용한 BiLSTM-CRF 아키텍처로 훈련되었다.
• 모델은 Adam 옵timizer, 드롭아웃(0.5 for BiLSTM, 0.3 for CRF), 그리고 5 에포크의 내성 정지 기준을 사용해 훈련되었다.
• 평가에서는 표준 훈련/검증/테스트 분할을 사용하였으며, F1 점수는 비율 기반 및 이진 오버랩 정의를 모두 사용해 계산되었다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서 노르웨이어 텍스트의 극성 표현, 대상, 소유주를 식별하는 데 있어 신경망 시퀀스 레이블링 모델의 효과성은 어떠한가?
• RQ2 노르웨이어 전문 리뷰에서 세분화된 감성 구성요소를 애너테이션할 때 이 annotator 간 일치도는 어느 정도 달성될 수 있는가?
• RQ3 훈련 및 테스트 세트 간 도메인 차이가 NoReC${}_{\text{fine}}$ 데이터셋의 모델 성능에 어떤 영향을 미치는가?
• RQ4 사실에 기반한 비개인적 표현이 노르웨이어 리뷰의 감성 분석에 얼마나 기여하는가?
• RQ5 훈련 및 테스트 데이터 간 분포의 변화가 있을 때, 단일 모델이 노르웨이어 감성 분석에서 여러 도메인으로 일반화할 수 있는가?

주요 결과

• NoReC${}_{\text{fine}}$ 데이터셋은 10개 이상의 도메인에서 300개의 전문 노르웨이어 리뷰에서 유래한 약 8,000개의 문장으로 구성되어 있으며, 약 절반은 평가적 성격을 띤다.
• 이 annotator 간 일치도는 중간에서 중간 이상이었으며, 소유주에 대해 42.4 F1(비율 기반), 43.5 F1(이진 기반), 대상에 대해 31.3 F1(비율 기반), 39.1 F1(이진 기반), 극성 표현에 대해 31.3 F1(비율 기반), 61.5 F1(이진 기반)의 점수를 기록했다.
• 기초 BiLSTM-CRF 모델은 소유주에 대해 42.4 F1(비율 기반)의 성능을 기록하여 교차 도메인 일반화의 여전한 개선 여지를 보여주었다.
• 모델은 극성 표현에 대해 가장 높은 성능(61.5 F1 이진 기반)을 기록하여, 이 설정에서는 표현 탐지가 소유주나 대상 탐지보다 더 견고한 것으로 나타났다.
• 훈련 및 테스트 데이터 간 도메인의 변화는 성능을 떨어뜨렸으며, 특히 소유주(56% 오버랩)와 대상(28% 오버랩)에서 두드러졌다. 이는 모델 일반화의 현실적인 과제를 보여준다.
• 데이터셋은 주관적 의견뿐만 아니라 사실에 기반한 비개인적 평가도 포함하고 있으며, 객관적인 문장이 감성을 지닐 수 있음을 입증한다. 이는 강력한 감성 분석에 매우 중요하다.