[논문 리뷰] Frowning Frodo, Wincing Leia, and a Seriously Great Friendship: Learning to Classify Emotional Relationships of Fictional Characters

Evgeny Kim, Roman Klinger|arXiv (Cornell University)|2019. 03. 29.

Sentiment Analysis and Opinion Mining참고 문헌 30인용 수 13

한 줄 요약

이 논문은 소설 텍스트 내 허구적 인물 간의 정서적 관계를 분류하는 새로운 작업을 제안하며, 팬픽션 코퍼스를 대상으로 위치 인코딩을 사용한 GRU 모델 기반의 신경 관계 분류 프레임워크를 제시한다. 최고의 모델은 무방향 정서 관계 분류에서 F1 점수 0.45를 기록하여, 정교한 정서 모델링이 정교한 캐릭터 상호작용을 분석하는 데 이분법적 극성 분류보다 우수하다는 것을 입증한다.

ABSTRACT

The development of a fictional plot is centered around characters who closely interact with each other forming dynamic social networks. In literature analysis, such networks have mostly been analyzed without particular relation types or focusing on roles which the characters take with respect to each other. We argue that an important aspect for the analysis of stories and their development is the emotion between characters. In this paper, we combine these aspects into a unified framework to classify emotional relationships of fictional characters. We formalize it as a new task and describe the annotation of a corpus, based on fan-fiction short stories. The extraction pipeline which we propose consists of character identification (which we treat as given by an oracle here) and the relation classification. For the latter, we provide results using several approaches previously proposed for relation identification with neural methods. The best result of 0.45 F1 is achieved with a GRU with character position indicators on the task of predicting undirected emotion relations in the associated social network graph.

연구 동기 및 목표

• 소설 텍스트에서 캐릭터 간 정서적 네트워크 추출이라는 새로운 작업을 제안하는 것.
• 사회적 네트워크 분석과 정서 분석을 융합하여 캐릭터 간 정서적 역학을 분석하는 데 미치는 격차를 메우는 것.
• 내용 텍스트 내 캐릭터 간 정서적 관계를 분류하기 위한 신경 모델을 개발하고 평가하는 것.
• 캐릭터 언급과 정서 관계를 포함한 19편의 팬픽션 단편소설로 구성된 수동으로 애너테이션된 공개 코퍼스를 제공하는 것.
• 정교한 정서 분류가 캐릭터 상호작용에 대해 이분법적 극성 분류보다 성능이 뛰어나다는가 확인하는 것.

제안 방법

• 관계 분류 작업은 신경 시퀀스 모델을 사용하여 무방향 또는 방향성 정서 관계를 캐릭터 쌍 간에 분류하는 것으로 정의된다.
• 관계적 맥락을 인코딩하고 성능을 향상시키기 위해 캐릭터 위치 지표(MRole, MEntity)를 사용한 GRU 기반 모델이 사용된다.
• 플루치크의 여덟 가지 기본 정서(분노, 두려움, 기쁨, 기대, 신뢰, 놀람, 혐오, 슬픔)를 기반으로 이산적 정서 분류가 사용된다.
• 코퍼스는 WebAnno를 사용하여 애너테이션되며, 각 정서 관계는 (C_exp, e, C_cause) 형태의 트리플로 표현되며, 여기서 C_exp는 정서 e를 경험하고 C_cause는 그 정서의 원인이다.
• 평가 척도는 인스턴스, 스토리, 그래프 수준에서 진행되며, 정밀도, 재현율, F1 점수를 계산하기 위해 마이크로 및 매크로 평균 전략이 적용된다.
• 기준 모델로는 BOW-RF와 위치 지표 없이 사용된 GRU가 포함되며, 2-, 5-, 8개 클래스 정서 설정에서 성능을 비교한다.

실험 결과

연구 질문

• RQ1 위치 인코딩을 갖춘 신경 모델이 기준 모델 대비 허구적 인물 간 정서 관계 분류 성능을 향상시키는가?
• RQ2 정교한 다중 클래스 정서 분류가 캐릭터 상호작용에 대해 이분법적 극성 분류보다 성능이 뛰어나게 되는가?
• RQ3 다양한 평가 수준(인스턴스, 스토리, 그래프)이 정서 관계 분류 성능 측정에 어떤 영향을 미치는가?
• RQ4 캐릭터 위치 지표와 맥락 임베딩이 내러티브 텍스트 내 정서 관계 모델링에 얼마나 기여하는가?
• RQ5 GRU 모델이 기존의 BOW-RF 모델보다 성능 향상을 보이는 것이 다양한 정서 클래스 설정에서 일관되게 유지되는가?

주요 결과

• 다중 역할 위치 인코딩을 갖춘 GRU 모델(GRU+MRole)은 무방향 8개 클래스 정서 관계 분류 작업에서 최고의 F1 점수 0.45를 기록했다.
• 그래프 수준에서 GRU+MRole 모델은 2개 클래스 설정에서 73%의 F1 점수를 기록하여, 이는 느슨한 매칭 제약 조건으로 인해 그래프 수준 평가가 성능 향상에 기여한다는 것을 시사한다.
• 이분법적 분류와 다중 클래스 분류 간의 성능 격차는 뚜렷하며, 다중 클래스 모델이 이분법적 모델보다 뛰어나므로 정서적 상호작용은 단순한 극성으로는 잘 포착되지 않음을 시사한다.
• 위치 인코딩(MRole, MEntity)은 이러한 지표가 없는 모델 대비 성능 향상이 일관되게 이루어지며, 특히 방향성 관계 분류에서 두드러진다.
• BOW-RF 기준 모델은 RNN 기반 모델 대비 성능이 열악하여 순차적 모델링이 관계 맥락을 포착하는 데 필수적임을 시사한다.
• 결과적으로 이분법적 분류에서는 모델 간 성능 차이가 미미하지만, 다중 클래스 설정에서는 뚜렷한 차이가 나타나며, 이는 정교한 정서 모델링의 필요성을 강화한다.