[논문 리뷰] Annotation of Emotion Carriers in Personal Narratives

Aniruddha Tammewar, Alessandra Cervone외 2명|arXiv (Cornell University)|2020. 02. 27.

Sentiment Analysis and Opinion Mining참고 문헌 41인용 수 8

한 줄 요약

이 논문은 구어 개인 서사에서 감정 주체를 식별하기 위한 새로운 애너테이션 체계를 제안한다—즉, 서술자의 정서적 상태를 설명하는 텍스트 조각들이다. 독일어 USoMS 코퍼스를 사용하여 네 명의 애너테이터가 음성으로 녹음된 서사문의 감정 주체를 애너테이션하였으며, 주관적인 성격에도 불구하고 내용어에서 높은 겹침을 보였고, 분석 결과, 'ähm'과 같은 필러가 감정 주체 근처에 자주 나타나, 자동 감정 주체 탐지에 유용한 위치 패턴을 시사한다. 이는 서사 이해 시스템에서의 응용에 기여한다.

ABSTRACT

We are interested in the problem of understanding personal narratives (PN) - spoken or written - recollections of facts, events, and thoughts. In PN, emotion carriers are the speech or text segments that best explain the emotional state of the user. Such segments may include entities, verb or noun phrases. Advanced automatic understanding of PNs requires not only the prediction of the user emotional state but also to identify which events (e.g. "the loss of relative" or "the visit of grandpa") or people ( e.g. "the old group of high school mates") carry the emotion manifested during the personal recollection. This work proposes and evaluates an annotation model for identifying emotion carriers in spoken personal narratives. Compared to other text genres such as news and microblogs, spoken PNs are particularly challenging because a narrative is usually unstructured, involving multiple sub-events and characters as well as thoughts and associated emotions perceived by the narrator. In this work, we experiment with annotating emotion carriers from speech transcriptions in the Ulm State-of-Mind in Speech (USoMS) corpus, a dataset of German PNs. We believe this resource could be used for experiments in the automatic extraction of emotion carriers from PN, a task that could provide further advancements in narrative understanding.

연구 동기 및 목표

• 구어 개인 서사에서 감정 주체를 체계적으로 식별하기 위한 애너테이션 프레임워크를 개발하는 것—이는 복잡하고 비정형적이며 정서적으로 풍부한 텍스트이다.
• 감정 분류를 넘어서 특정 텍스트 조각이 정서 상태를 유발하거나 설명하는지를 규명하여 감정 분석의 격차를 메우는 것.
• 긴 서사문에서 다수의 하위 사건과 감정을 포함한 주관적인 과제에서의 상호 애너테이터 일치도와 애너테이션 품질을 평가하는 것.
• 불완전성(예: 필러)과 같은 언어적 신호가 감정 주체와 체계적으로 연관되어 있는지 조사하여 자동 탐지에 기여할 수 있는지 확인하는 것.
• 개인 서사에서 감정 주체 추출을 위한 자동 시스템의 훈련 및 평가를 지원하기 위한 자원을 구축하는 것—더 깊은 서사 이해를 위해

제안 방법

• USoMS 코퍼스의 음성 녹음된 구어 개인 서사에서 감정 주체를 수작업으로 애너테이션하였으며, 네 명의 애너테이터가 서술자의 정서 상태를 가장 잘 설명하는 조각을 표시하였다.
• 감정 주체는 서술자의 감정의 원인이나 유발 요소를 전달하는 동사, 명사, 어구 등 다단어 구간으로 정의되었다 (예: 'Praktikum' 또는 'positive Aufregung').
• 신뢰도 평가를 위해 표준 지표를 사용하여 상호 애너테이터 일치도를 계산하였으며, 일관성을 평가하기 위해 겹치는 애너테이션의 정성적 분석도 수행하였다.
• 감정 주체가 서사의 구조 전반에 어떻게 분포되어 있는지 분석하기 위해 위치 분석을 실시하였으며, 평균 위치와 군집화를 중심으로 분석하였다.
• 필러(예: 'ähm', 'äh', 'mhm')는 불완전성으로 간주되었고, 각 감정 주체 주변 ±5 토큰 내에서의 상대적 위치를 분석하였다.
• 통제 실험을 통해 감정 주체와의 필러 근접도를 무작위로 선택한 내용어(명사, 형용사, 동사, 부사)와 비교하여 관찰된 위치 패턴의 유의성을 검증하였다.

실험 결과

연구 질문

• RQ1 감정 주체를 식별하는 데 있어 상호 애너테이터 일치도는 어떠한가? 그리고 다수의 애너테이터 간에 일관성은 얼마나 유지되는가?
• RQ2 감정 주체는 서사의 구조 전반에 균일하게 분포되어 있는가, 아니면 특정 영역(시작, 중간, 끝)에 집중되어 있는가?
• RQ3 불완전성(예: 필러)과 감정 주체 사이에 통계적으로 유의미한 위치적 연관성이 있는가?
• RQ4 개인 서사에서 감정 주체는 기능어보다 내용어(예: 명사, 동사)를 포함하는 경향이 있는가? 이는 감정 주체 탐지에 어떤 영향을 미치는가?
• RQ5 필러와 감정 주체 간의 근접도가 자동 감정 주체 추출 시스템에서 신뢰할 수 있는 신호로 기능할 수 있는가?

주요 결과

• 주관적인 과제임에도 불구하고 상호 애너테이터 일치도는 중간 수준이었으며, 애너테이터 간 내용어에서 높은 겹침을 보였고, 이는 의미 있는 감정 주체를 일관되게 식별하고 있음을 시사한다.
• 감정 주체는 서사의 중간 부근에서 가장 자주 애너테이션되었으며, 평균 위치가 서사 중심에 가까워 감정 표현에서 중심적인 역할을 한다는 것을 시사한다.
• 'ähm'과 'äh'와 같은 필러는 감정 주체보다 +2 위치에서 가장 자주 발생했으며(7%의 경우), +1, +3 및 -1, -4 위치에서도 유의미한 군집이 관찰되었다.
• 무작위로 선택한 내용어와 비교했을 때, 필러는 감정 주체와 더 높은 빈도로 근접해 있었으며, 이는 비임의적인 위치적 연관성이 있음을 시사한다.
• 분석 결과, 감정 주체는 종종 'Praktikum'(인턴십)나 'positive Aufregung'(긍정적 흥분)와 같은 내용어로 구성되어 있어, 사건 및 감정 어구가 핵심적인 주체 역할을 한다는 점을 시사한다.
• 필러와 감정 주체 사이의 관찰된 패턴은 불완전성이 인지적 또는 정서적 처리 순간을 시사할 수 있으며, 이는 구어 서사에서 정서적 의도를 모델링하는 데 유용할 수 있음을 지지한다.