[논문 리뷰] "Let Your Characters Tell Their Story": A Dataset for Character-Centric Narrative Understanding

Faeze Brahman, Meng Huang외 4명|arXiv (Cornell University)|2021. 09. 12.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 NLP에서 캐릭터 중심의 서사 이해를 발전시키기 위해 문학적 요약과 캐릭터의 시점에서 작성된 인물 중심 기술을 결합한 새로운 데이터셋인 LiSCU를 소개한다. 캐릭터 식별 및 캐릭터 기술 생성이라는 두 가지 새로운 과제를 제안하며, 기존 모델이 유창한 기술을 생성할 수는 있지만 원본 요약에 대한 충실도가 떨어지고 장기적 맥락 이해 능력에 약점을 보이며, 서사 이해 분야에서 향상된 모델의 필요성을 드러낸다.

ABSTRACT

When reading a literary piece, readers often make inferences about various characters' roles, personalities, relationships, intents, actions, etc. While humans can readily draw upon their past experiences to build such a character-centric view of the narrative, understanding characters in narratives can be a challenging task for machines. To encourage research in this field of character-centric narrative understanding, we present LiSCU -- a new dataset of literary pieces and their summaries paired with descriptions of characters that appear in them. We also introduce two new tasks on LiSCU: Character Identification and Character Description Generation. Our experiments with several pre-trained language models adapted for these tasks demonstrate that there is a need for better models of narrative comprehension.

연구 동기 및 목표

• 서사에서 소설적 인물에 대한 기계 이해를 해결하기 위해 단순한 추출을 넘어서 개별 인물의 개성과 맥락을 추상화하는 데 초점을 맞춘다.
• 문학적 요약과 해당 인물의 시점에서 작성된 깊이 있는 인물 기술을 결합한 새로운 데이터셋 LiSCU를 개발한다.
• 두 가지 새로운 NLP 과제인 캐릭터 식별(익명화된 기술에서 인물 식별) 및 캐릭터 기술 생성(개념적 요약, 시점 기반 분석)을 제안한다.
• 현대의 사전 훈련된 언어 모델을 이러한 과제에 적용하여 충실도, 추상화 능력, 장기적 맥락 추론 능력 측면에서의 한계를 규명한다.
• 데이터셋과 모델 출력에서 성별 편향을 분석하여, 남성 캐릭터가 더 자주 등장하지만 남성과 여성 캐릭터의 기술이 유사한 수준으로 상세하게 기술되어 있어 분석적 대응에 편향이 없음을 확인한다.

제안 방법

• LiSCU 데이터셋은 인물의 역할, 성격, 관계, 동기를 강조하는 인물의 시점에서 작성된 문학적 요약과 기술을 포함한다.
• 캐릭터 기술 생성은 요약과는 다름없이, 텍스트에 명시적으로 기재되지 않은 속성과 역할을 추론해야 하는 개성적 생성 과제로 간주된다.
• 캐릭터 식별은 요약이 제공된 상황에서 익명화된 기술에서 정확한 인물 이름을 식별해야 하는 분류 과제로 설정된다.
• 데이터셋은 평균 1022 토큰에 이르는 장기 요약을 포함하여 NLP 시스템의 장기적 맥락 처리 능력에 도전을 가한다.
• 품질과 모델 출력 평가를 위해 아마존 메카니컬 터크를 통한 인간 평가를 실시하였으며, 공정성을 확보하기 위해 급여 지급 및 시간 기반 보상 방식을 적용하였다.
• 성별 표현에 대한 편향 분석을 실시하여, 캐릭터 빈도, 요약 내 언급 횟수, 기술 길이 등을 포함하여 잠재적인 격차를 평가하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 원본 요약에 충실하고 핵심 속성과 역할을 반영하는 캐릭터 기술을 얼마나 잘 생성할 수 있는가?
• RQ2 서사 요약이 제공된 상황에서 익명화된 기술에서 정확한 캐릭터를 식별하는 데 모델의 성능은 어느 정도인가?
• RQ3 모델은 평균 1022 토큰에 이르는 장기 서사 맥락을 효과적으로 처리하여 일관되고 정확한 캐릭터 기술을 생성할 수 있는가?
• RQ4 남성 대비 여성 캐릭터에 대해 데이터셋이나 모델 출력에서 성별 편향이 존재하는가?
• RQ5 모델이 생성한 기술은 인간의 애너테이션 기술과 비교해 추상화 수준, 일관성, 사실적 일치도 측면에서 어떻게 다른가?

주요 결과

• 기존의 사전 훈련된 언어 모델은 매끄럽고 논리적인 캐릭터 기술을 생성할 수는 있지만, 원본 요약에 대한 충실도가 떨어져 핵심 정보를 생략하거나 왜곡하는 경우가 많다.
• 캐릭터 식별 과제에서 인간의 평균 성능는 현재의 모델 성능보다 뚜렷이 높아, 모델의 인물 추론 능력에 격차가 있음을 시사한다.
• 모델은 장기적 서사 맥락을 다루는 데 어려움을 겪으며, 평균 1022 토큰에 이르는 요약 길이는 대부분의 기존 NLP 시스템이 편안하게 다룰 수 있는 범위를 초과한다.
• 남성 캐릭터가 데이터셋에서 더 자주 등장하지만(66%), 남성과 여성 캐릭터의 평균 기술 길이가 거의 동일하다(남성 203 토큰, 여성 200 토큰)로, 기술의 깊이에 편향이 없음을 시사한다.
• 요약 내 남성 및 여성 캐릭터의 평균 언급 횟수는 매우 유사하다(남성 32.1, 여성 31.7)로, 여성 캐릭터가 수적으로 적지만 서사적 발전에서 비례적으로 중요한 역할을 하고 있음을 나타낸다.
• 캐릭터 빈도의 불균형에도 불구하고, 남성과 여성 캐릭터의 기술 길이나 문장 수에 유의미한 차이가 없어 인간 애너테이터가 작성한 기술에 성별 기반 분석 편향이 없음을 시사한다.