[논문 리뷰] BHAAV (भव) - A Text Corpus for Emotion Analysis from Hindi Stories

Yaman Kumar, Debanjan Mahata외 4명|arXiv (Cornell University)|2019. 09. 22.

Sentiment Analysis and Opinion Mining참고 문헌 44인용 수 10

한 줄 요약

이 논문은 감정 분석을 위한 첫 번째이자 가장 큰 히нд어 텍스트 코퍼스인 BHAAV를 소개한다. 총 20,304개 문장이 18개 장르에 걸쳐 230편의 히нд어 단편소설에서 수집되었으며, 세 명의 모국어 사용자들이 분류한 감정 카테고리로는 분노, 기쁨, 긴장, 슬픔, 중립의 다섯 가지이다. 이는 감정 분류기의 강력한 훈련을 가능하게 하며, 로지스틱 회귀 모델이 중립 클래스에서 78.5%의 F1 점수와 긴장 클래스에서 62.1%의 F1 점수를 기록함으로써 인도어 저자원 NLP 분야에서의 유용성을 입증한다.

ABSTRACT

The first and largest Hindi text corpus, named BHAAV (भाव), which means emotions in Hindi, for analyzing emotions that a writer expresses through his characters in a story, as perceived by a narrator/reader. The corpus consists of 20,304 sentences collected from 230 different short stories spanning across 18 genres such as प्रेरणादायक (Inspirational) and रहस्यमयी (Mystery). Each sentence has been annotated into one of the five emotion categories anger, joy, suspense, sad, and neutral) by three native Hindi speakers with at least ten years of formal education in Hindi.

연구 동기 및 목표

• 히нд어와 같이 저자원 인도어에 대해 대규모이고 고품질의 감정 주석 자료가 부족한 문제를 해결하기 위해.
• 히нд어 단편소설의 캐릭터와 서사적 맥락을 통해 표현된 감정을 반영하는 공개 가능한 언어학적으로 풍부한 코퍼스를 개발하기 위해.
• 감정 역학을 고려한 시간 순서가 유지된 데이터셋을 제공함으로써, 계산 언어학, 텍스트 음성 합성 시스템, 자동 스토리텔링 연구를 지원하기 위해.
• 다양하고 장르가 다양한 데이터셋에서 성능을 평가할 수 있도록 히нд어 감정 분류를 위한 기준 모델을 수립하기 위해.
• 엄격한 다중 주석자 프로세스를 통해 저자원 언어, 특히 히нд어에서 감정 주석의 가능성과 도전 과제를 탐색하기 위해.

제안 방법

• 18개 장르(예: 영감을 주는, 미스터리, 도덕적 교훈, 농촌 삶 등)에 걸친 230편의 히нд어 단편소설에서 총 20,304개 문장을 수집하였다.
• 세 명의 모국어 사용자(히нд어어로 최소 10년 이상의 정규 교육 이수자)가 각 문장을 분노, 기쁨, 긴장, 슬픔, 중립의 다섯 가지 감정 카테고리 중 하나로 주석 처리하였다.
• 주석 일치도를 확보하기 위해 상호 주석자 일致도 검사를 실시하고, 이질성을 논의를 통해 해결함으로써 고품질 레이블링을 확보하였다.
• 서사적 맥락 분석을 지원하기 위해 원문의 문장 순서를 유지하여 시간적 순서와 서사적 맥락 분석이 가능하도록 하였다.
• Bag-of-Words와 컨텍스트 임베딩(BERT 기반 모델 등)을 사용하여 로지스틱 회귀 및 딥러닝 모델을 포함한 다양한 기준 분류기 모델을 훈련시켰다.
• 로지스틱 회귀를 활용한 특성 중요도 분석을 통해 각 감정 카테고리의 주요 유니그램 지표를 특정하였으며, 예를 들어 기쁨의 경우 'खुश' (기쁨), 'हँस' (웃음), 'संगीत' (음악) 등이 강력한 지표로 확인되었다.

실험 결과

연구 질문

• RQ1 히нд어와 같은 저자원 언어에 대해 서사 텍스트를 활용하여 대규모 고품질 감정 주석 코퍼스를 구축할 수 있는가?
• RQ2 특히 긴장과 같은 미묘하거나 맥락 의존적인 감정에 대해 히нд어 텍스트의 감정 주석에서 발생하는 주요 과제는 무엇인가?
• RQ3 히нд어 단편소설에서 다양한 감정 카테고리의 언어적 단서와 장르 간 분포는 어떻게 다를까?
• RQ4 이 코퍼스를 활용하여 기준 기계학습 모델이 히нд어 텍스트의 감정 분류에서 높은 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ5 코퍼스는 서사적 시퀀스에서 감정의 변화를 분석하는 데 기여할 수 있으며, 이를 통해 서사 감정 역학에 대한 통찰을 제공할 수 있는가?

주요 결과

• BHAAV는 감정 분석을 위한 첫 번째이자 가장 큰 공개 히нд어 텍스트 코퍼스로, 18개 장르에 걸쳐 230편의 단편소설에서 총 20,304개 문장이 포함되어 있다.
• 기준 모델에서 중립 클래스가 가장 높은 F1 점수인 78.5%를 기록하였으며, 이는 데이터셋 내에서의 우세성과 분류의 상대적 용이성을 반영한다.
• 긴장 카테고리가 가장 낮은 성능을 보였으며, F1 점수는 62.1%였다. 이는 감정 단서의 미묘함과 긴장적인 언어를 식별하는 데서 발생하는 주석 과제 때문일 것이다.
• 감정별로 특화된 유니그램 특성 지표가 확인되었으며, 예를 들어 기쁨의 경우 'खुश' (기쁨), 'हँस' (웃음), 'संगीत' (음악) 등이 강력한 지표로 나타났고, 슬픔의 경우 'रो' (울다), 'आँसू' (눈물) 등이 핵심 지표로 확인되었다.
• 문장 순서를 유지함으로써 시간적 감정 분석이 가능해졌으며, 서사적 시퀀스에서 감정의 변화를 모델링할 수 있었다.
• 이 데이터셋은 특히 오디오북 및 스토리텔링 애플리케이션에 적합한 감정적 억양을 반영한 텍스트 음성 합성 시스템 훈련에 강력한 잠재력을 보여주었다.