[논문 리뷰] PO-EMO: Conceptualization, Annotation, and Modeling of Aesthetic Emotions in German and English Poetry

Thomas Haider, Steffen Eger외 3명|TUbilio (Technical University of Darmstadt)|2020. 03. 17.

Sentiment Analysis and Opinion Mining참고 문헌 55인용 수 9

한 줄 요약

이 논문은 독자가 유도하는 반응을 중심으로 하며, 독자-유도 반응을 중심으로 하되 작가의 의도는 고려하지 않는 독일어 및 영어 시의 미학적 감정을 개념화하고, 주석을 붙이며 모델링하기 위한 새로운 프레임워크인 PO-EMO를 소개한다. 다중 레이블 주석 체계를 제시하며 10개의 미학적 감정 카테고리를 포함하고, 전문가 간의 높은 일致도(κ = .70)를 달성하였고, BERT를 사용한 감정 인식의 과제를 입증하여 독일어 하위집단에서 최대 .52의 F1-micro 성능을 기록하며 문학 분야의 미학적 감정 분석을 위한 새로운 벤치마크를 제공한다.

ABSTRACT

Most approaches to emotion analysis of social media, literature, news, and other domains focus exclusively on basic emotion categories as defined by Ekman or Plutchik. However, art (such as literature) enables engagement in a broader range of more complex and subtle emotions. These have been shown to also include mixed emotional responses. We consider emotions in poetry as they are elicited in the reader, rather than what is expressed in the text or intended by the author. Thus, we conceptualize a set of aesthetic emotions that are predictive of aesthetic appreciation in the reader, and allow the annotation of multiple labels per line to capture mixed emotions within their context. We evaluate this novel setting in an annotation experiment both with carefully trained experts and via crowdsourcing. Our annotation with experts leads to an acceptable agreement of kappa = .70, resulting in a consistent dataset for future large scale analysis. Finally, we conduct first emotion classification experiments based on BERT, showing that identifying aesthetic emotions is challenging in our data, with up to .52 F1-micro on the German subset. Data and resources are available at https://github.com/tnhaider/poetry-emotion

연구 동기 및 목표

• 기본 감정 카테고리인 기쁨이나 두려움을 넘어서 시의 미학적 감정을 종합적으로 개념화하는 것.
• 작가가 표현하거나 의도한 감정이 아니라 독자가 경험하는 혼합된 감정 반응을 포괄하는 다중 레이블 주석 체계를 구축하는 것.
• 독일어 및 영어 텍스트에서 시의 미학적 감정에 대한 전문가 및 커스터마이징 주석의 신뢰성 평가.
• 향후 대규모 문학 텍스트의 미학적 감정 분석을 위한 고품질이고 일관성 있는 데이터셋 구축.
• 딥 러닝, 특히 BERT 기반 접근법을 활용한 미학적 감정 모델링의 가능성 평가.

제안 방법

• 심리학적 예술 수용 연구를 바탕으로, 아름다움/기쁨, 슬픔, 불안, 활기/에너지, 긴장감, 경외/숭고함, 유머, 번민, 낙관적 기억 등 10개의 미학적 감정 카테고리 정의.
• 주석은 시의 줄 단위로 수행되어 혼합된 감정 반응을 맥락 속에서 포괄할 수 있도록 다중 감정 레이블 허용.
• 전문가 주석은 훈련된 주석자들이 상세한 지침을 기반으로 수행되며, 상호 주석자 일致도는 Fleiss의 카파 계수(κ = .70)로 측정.
• 주석 과정의 검증 및 확장 가능성 평가를 위해 커스터마이징을 활용하며, 전문가 공감대에 기반한 골드 표준 주석 확보.
• 다중 레이블 감정 인식을 위한 BERT 기반 시퀀스 분류 모델을 주석된 시 텍스트에 대해 미세조정.
• 데이터셋은 재현 가능성과 향후 연구를 위해 https://github.com/tnhaider/poetry-emotion 에 공개.

실험 결과

연구 질문

• RQ1 시의 미학적 감정은 기본 감정 카테고리 이외로 어떻게 개념화할 수 있는가?
• RQ2 비문학적 텍스트에서 줄 단위로 다수의 혼합 감정을 얼마나 신뢰성 있게 주석 처리할 수 있는가?
• RQ3 전문 독자 간에 미학적 감정 주석에서 얼마나 높은 일치도를 달성할 수 있는가?
• RQ4 최신 NLP 모델인 BERT는 시의 미학적 감정 인식에 얼마나 효과적인가?
• RQ5 다중 레이블 주석 체계는 문학 텍스트에서 독자가 경험하는 감정 반응의 복잡성을 얼마나 잘 포괄할 수 있는가?

주요 결과

• 전문가 주석 데이터셋은 κ = .70의 상당한 상호 주석자 일치도를 달성하여, 미학적 감정 주석의 신뢰성과 일관성을 입증한다.
• 주석 과정은 헬더린, 트락, 화이트먼의 시에서 한 줄에 여러 레이블이 부여된 사례를 통해 혼합 감정 반응을 성공적으로 포착하였다.
• BERT 기반 감정 분류 모델은 독일어 시 하위집단에서 최대 .52의 F1-micro 점수를 기록하여, 고품질 데이터에도 불구하고 이 과제의 어려움을 시사한다.
• 데이터셋은 경외/숭고함, 낙관적 기억, 긴장감 등의 미학적 감정이 자주 나타나며, 일반적으로 슬픔이나 아름다움/기쁨과 함께 공존하는 경향을 보였다.
• 주석 지침서와 골드 표준 데이터는 공개되어 있어 향후 미학적 감정 인식 및 문학적 감정 분석 연구를 위한 기초 자료로 활용 가능하다.
• 본 연구는 시에서 독자가 경험하는 감정 반응이 복잡하고 맥락 의존적이며, 전통적인 기본 감정 모델로는 충분히 포착되지 않는다는 점을 입증한다.