[논문 리뷰] SentiPers: A Sentiment Analysis Corpus for Persian

Pedram Hosseini, Ali Ahmadian Ramaki외 3명|arXiv (Cornell University)|2018. 01. 23.

Sentiment Analysis and Opinion Mining참고 문헌 30인용 수 32

한 줄 요약

SentiPers는 문단, 문장 및 요소 수준에서 연속된 감성 점수로 레이블이 지정된 26,000건 이상의 문장을 포함한 페르시아어 감성 분석 코퍼스입니다. 이는 다중 수준의 레이블링과 정량화된 감성 강도를 갖춘 최초의 종합적인 페르시아어 코퍼스로, 저자원 NLP 응용 분야에서 고급 의견 마이닝을 가능하게 합니다.

ABSTRACT

Sentiment Analysis (SA) is a major field of study in natural language processing, computational linguistics and information retrieval. Interest in SA has been constantly growing in both academia and industry over the recent years. Moreover, there is an increasing need for generating appropriate resources and datasets in particular for low resource languages including Persian. These datasets play an important role in designing and developing appropriate opinion mining platforms using supervised, semi-supervised or unsupervised methods. In this paper, we outline the entire process of developing a manually annotated sentiment corpus, SentiPers, which covers formal and informal written contemporary Persian. To the best of our knowledge, SentiPers is a unique sentiment corpus with such a rich annotation in three different levels including document-level, sentence-level, and entity/aspect-level for Persian. The corpus contains more than 26000 sentences of users opinions from digital product domain and benefits from special characteristics such as quantifying the positiveness or negativity of an opinion through assigning a number within a specific range to any given sentence. Furthermore, we present statistics on various components of our corpus as well as studying the inter-annotator agreement among the annotators. Finally, some of the challenges that we faced during the annotation process will be discussed as well.

연구 동기 및 목표

• 페르시아어, 저자원 언어에 대한 고품질 수동 레이블링 감성 자원의 부족을 해결하기 위해.
• 다양한 도메인에 걸쳐 공식적이고 비공식적인 서면 페르시아어를 포함하는 종합적인 감성 코퍼스를 개발하기 위해.
• 문단 수준, 문장 수준, 요소 수준의 다중 수준 레이블링을 통해 고급 감성 분석 기법을 가능하게 하기 위해.
• 정의된 범위 내에서 연속적인 수치 점수를 사용해 감성 성향을 정량화하여 보다 정밀한 표현을 가능하게 하기 위해.
• 엄격한 이면자 간 일致성 평가 및 레이블링 과정의 도전 과제에 대한 상세 문서화를 통해 신뢰성을 확보하기 위해.

제안 방법

• 디지털 제품 리뷰에서 유래한 26,000건 이상의 문장을 수동으로 레이블링.
• 3단계 레이블링 적용: 문단 수준, 문장 수준, 엔터티/요소 수준의 감성 분류.
• -1에서 +1 범위의 연속된 감성 점수(예: -1에서 +1 사이의 척도)를 사용해 긍정성 또는 부정성의 정도를 정량화.
• 일致성 확보를 위한 엄격한 레이블링 가이드라인 및 품질 관리 절차 구현.
• Fleiss의 Kappa와 같은 통계적 측정법을 사용해 이면자 간 일치도 계산하여 신뢰성 검증.
• 대표성과 레이블링 품질을 뒷받침하기 위해 인구통계학적 및 언어학적 데이터 수집 및 분석.

실험 결과

연구 질문

• RQ1 어떻게 페르시아어, 저자원 언어를 대상으로 대규모 다중 수준 감성 코퍼스를 체계적으로 구축할 수 있는가?
• RQ2 페르시아어에 대해 다중 분해능 감성 레이블링에서 기대할 수 있는 이면자 간 일치도 수준은 어느 정도인가?
• RQ3 연속된 감성 점수의 포함이 NLP 작업에 대한 감성 코퍼스의 유용성을 어느 정도 향상시키는가?
• RQ4 다중 수준에서 비공식적이고 공식적인 페르시아어 텍스트의 감성 레이블링에서 발생하는 주요 과제는 무엇인가?
• RQ5 SentiPers 코퍼스는 페르시아어 감성 분석 모델의 학습 및 평가에 있어 얼마나 대표적이고 신뢰할 수 있는가?

주요 결과

• SentiPers 코퍼스는 다양한 언어적 스타일(공식적 및 비공식적 페르시아어 포함)을 포함한 디지털 제품 리뷰에서 유래한 26,000건 이상의 레이블링 문장을 포함한다.
• 이면자 간 일치도는 다소 높은 수준으로 측정되었으며, Fleiss의 Kappa 점수는 모든 레이블링 수준에서 강한 신뢰성을 나타낸다.
• -1에서 +1의 연속된 감성 점수 사용은 세분화된 감성 표현을 가능하게 하여 모델 학습 및 평가에 기여한다.
• 코퍼스는 높은 언어 다양성을 보이며 다양한 디지털 제품의 요소를 포함하여 세분화된 감성 분석을 지원한다.
• 저자들은 비공식어, 풍자, 암묵적 감성 레이블링에서 발생하는 중대한 과제를 식별하였으며, 향후 연구를 위해 문서화하였다.
• 이 코퍼스는 공개되어 있으며, 샤히르 대학교의 제3회 언어학 컴퓨팅 회의에서 발표를 확정받았다.