[논문 리뷰] Annotating Character Relationships in Literary Texts

Philip Massey, Patrick Xia외 2명|arXiv (Cornell University)|2015. 12. 02.

Topic Modeling참고 문헌 1인용 수 11

한 줄 요약

이 논문은 헤로이드의 일리아드에서 조이스의 울리시스에 이르기까지 109편의 문학적 텍스트에서 수작업으로 주석 처리된 인물 간 관계를 포함하는 대규모 오픈소스 데이터셋을 제시한다. 이 데이터셋은 아마존 메카니컬 터크의 비전문가 평가자들이 스파크노트 요약 자료를 바탕으로 관계를 평가한 것이다. 주요 기여는 굵은 분류 기준에 대해 $κ = 0.812$이고 세밀한 분류 기준에 대해 $κ = 0.744$인 높은 정확도를 보이는 데이터셋을 제공함으로써, 문학적 관계 추출을 위한 NLP 모델의 훈련과 평가를 가능하게 한다.

ABSTRACT

We present a dataset of manually annotated relationships between characters in literary texts, in order to support the training and evaluation of automatic methods for relation type prediction in this domain (Makazhanov et al., 2014; Kokkinakis, 2013) and the broader computational analysis of literary character (Elson et al., 2010; Bamman et al., 2014; Vala et al., 2015; Flekova and Gurevych, 2015). In this work, we solicit annotations from workers on Amazon Mechanical Turk for 109 texts ranging from Homer's _Iliad_ to Joyce's _Ulysses_ on four dimensions of interest: for a given pair of characters, we collect judgments as to the coarse-grained category (professional, social, familial), fine-grained category (friend, lover, parent, rival, employer), and affinity (positive, negative, neutral) that describes their primary relationship in a text. We do not assume that this relationship is static; we also collect judgments as to whether it changes at any point in the course of the text.

연구 동기 및 목표

• 문학적 텍스트에서 인물 간 관계에 대한 대규모 오픈 데이터셋을 구축하여 자동 관계 예측 모델의 훈련과 평가를 지원한다.
• 비전문가 평가자들이 원문이 아닌 제3자 요약 자료(예: 스파크노트)에 의존할 경우의 가능성 여부를 평가한다.
• 관계의 역동성, 시간에 따른 변화, 감정(긍정, 부정, 중립)을 포함한 인물 간 관계의 특성을 규명한다.
• 다양한 문학 작품들에서 인물과 그 상호작용의 계산적 분석을 위한 기반을 마련한다.
• 내용 이해, 인물 네트워크 분석, 문학에서의 관계 유형 예측 분야의 향후 연구를 가능하게 한다.

제안 방법

• 아마존 메카니컬 터크의 평가자들이 원문 대신 스파크노트 요약 자료를 기반으로 인물 간 이원관계를 평가하였다.
• 네 가지 평가 차원을 수집하였다: 친밀도(긍정, 부정, 중립), 굵은 분류 기준(가족, 사회적, 전문적), 세밀한 종류(예: 친구, 부모, 동료), 관계 변화 여부(예: 있음/없음, 기술 포함).
• 각 텍스트는 여러 명의 작업자에 의해 주석 처리되었으며, 총 2,170건의 주석이 109편의 작품에서 수집되었으며, 일치도 평가를 위해 392개의 이원관계가 두 명의 독립된 주석을 받았다.
• 상호 평가 일치도는 우연의 영향을 보정하기 위해 플라이스의 $κ$를 사용하여 측정하였으며, 결과는 각 주석 유형별로 보고되었다.
• 모든 데이터(익명화된 작업자 ID가 포함된 원시 주석 포함)는 http://github.com/dbamman/characterRelations 에서 공개적으로 이용 가능하다.
• 이 데이터셋은 헤로이드, 셰익스피어, 오스틴, 톨스토이, 조이스 등 다양한 작가와 시대의 작품을 포함하여 광범위한 문학적 커버리지 보장한다.

실험 결과

연구 질문

• RQ1 비전문가 평가자들이 요약 수준의 정보만을 사용할 경우, 문학적 텍스트에서 인물 간 관계를 신뢰성 있게 식별하고 분류할 수 있는가?
• RQ2 요약 기반 주석 처리 시 굵은 분류 기준과 세밀한 분류 기준에서 달성할 수 있는 일치도 수준은 어떠한가?
• RQ3 문학적 텍스트 전반에 걸쳐 인물 간 관계가 얼마나 자주 변화하는가, 그리고 이러한 변화는 얼마나 신뢰성 있게 탐지될 수 있는가?
• RQ4 다양한 문학 작품들에서 관계 유형(친밀도, 분류 기준, 종류)의 분포는 어떠한가?
• RQ5 비전문가 평가자들 사이에서 감정(친밀도) 기반 주석이 얼마나 일관되게 이루어지는가?

주요 결과

• 군데 분류 기준에 대한 상호 평가 일치도는 매우 높았으며, 플라이스의 $κ = 0.812$로 평가자 간 높은 일관성을 보였다.
• 세밀한 관계 종류에 대해서도 상당한 일치도($\u03ba = 0.744$)를 보였으며, 이는 '배우자' 또는 '동료'와 같은 특정 관계 유형의 분류가 신뢰할 수 있음을 시사한다.
• 18.1%의 인물 이원관계가 텍스트 내내 중요한 관계 변화를 겪었다고 평가되었지만, 우연의 영향을 보정한 후 일치도는 낮았으며($\u03ba = 0.208$), 이는 변화 판단의 일관성에 한계가 있음을 나타낸다.
• 친밀도 주석은 가장 낮은 일치도($\u03ba = 0.364$)를 보였으며, 이는 감정 기반 판단이 비전문가에게 특히 어려운 과제임을 시사한다.
• 총 109편의 문학적 텍스트에서 2,170건의 주석이 수집되었으며, 신뢰성 평가를 위해 392개의 이원관계가 두 명의 독립된 주석을 받았다.
• 모든 데이터는 http://github.com/dbamman/characterRelations 에서 공개적으로 이용 가능하며, 익명화된 작업자 ID가 포함된 원시 주석까지 포함되어 있어 재현성과 향후 연구를 지원한다.