[논문 리뷰] Temporal Embeddings and Transformer Models for Narrative Text Understanding

K Vani, Simone Mellace외 1명|arXiv (Cornell University)|2020. 03. 19.

Topic Modeling참고 문헌 28인용 수 7

한 줄 요약

이 논문은 서사 텍스트 이해를 위한 이중 딥러닝 접근법을 제안한다: BERT를 사용해 정적 인물 관계(예: 가족 관계 등)를 지도학습으로 분류하고, 시간에 따라 변화하는 인물 관계의 진화를 모델링하기 위해 시간적 단어 임베딩을 활용한다. 실험 결과는 하리포터 데이터에서 높은 F-스코어(78%)를 기록했으며, 관계 궤적의 효과적인 시각화를 통해 이 방법이 문학적 NLP 및 일반적인 NLU 기준 평가에 유망한 것으로 나타났다.

ABSTRACT

We present two deep learning approaches to narrative text understanding for character relationship modelling. The temporal evolution of these relations is described by dynamic word embeddings, that are designed to learn semantic changes over time. An empirical analysis of the corresponding character trajectories shows that such approaches are effective in depicting dynamic evolution. A supervised learning approach based on the state-of-the-art transformer model BERT is used instead to detect static relations between characters. The empirical validation shows that such events (e.g., two characters belonging to the same family) might be spotted with good accuracy, even when using automatically annotated data. This provides a deeper understanding of narrative plots based on the identification of key facts. Standard clustering techniques are finally used for character de-aliasing, a necessary pre-processing step for both approaches. Overall, deep learning models appear to be suitable for narrative text understanding, while also providing a challenging and unexploited benchmark for general natural language understanding.

연구 동기 및 목표

• 딥러닝 분야에서 여전히 탐색이 부족한 문학 텍스트의 서사 텍스트 이해 도전 과제를 해결하기 위해, 어휘가 풍부하고 복잡한 실체 관계를 지닌 문학 텍스트를 대상으로 한다.
• 수동적 애너테이션에 의존도를 줄이기 위해 자동으로 생성된 학습 데이터를 활용해 BERT 기반 지도학습 방법을 개발하여 정적 인물 관계(예: 가족 관계 등)를 분류한다.
• 시간에 따라 변화하는 인물 관계의 진화를 시간적 단어 임베딩을 사용해 모델링함으로써, 궤적 기반의 관계 변화 분석을 가능하게 한다.
• 이름 엔티티 인식 이후 밀도 기반 클러스터링(DBSCAN)을 적용해 인물의 별칭을 제거함으로써 서사 분석을 위한 사전 처리를 향상시킨다.
• 복잡한 관계 구조를 지닌 문학 텍스트를 최신 NLP 모델의 도전적인 기준 평가 지표로 설정한다.

제안 방법

• 문장 수준 데이터에 대해 BERT 기반 분류기가 미세조정되어 인물 간 관계를 예측하며, 쌍 수준에서 예측을 집계하기 위해 문장의 백본 전략을 사용한다.
• 가족 관계에 대한 자동 학습 데이터는 텍스트 내 동일한 가족 그룹에 속한 인물 언급을 클러스터링하여 히우리스틱 기반 접근법으로 생성한다.
• 고정 길이의 텍스트 슬라이스(1000자)에 대해 시간적 단어 임베딩을 훈련하며, 공유 초기화를 통해 시간에 따라 벡터의 비교 가능성을 확보한다.
• 각 시간 슬라이스에서 핵심 인물의 임베딩 벡터를 추출하여 인물 궤적을 구성함으로써 코사인 거리 기반의 의미적 밀도를 분석할 수 있다.
• t-SNE를 사용해 고차원 궤적을 2차원으로 투영하여 시각화하며, 분리 또는 동맹 관계와 같은 관계 역학을 드러낸다.
• 이름 엔티티에 대해 DBSCAN 클러스터링을 적용해 별칭(예: 론과 로널드)을 해결함으로써 서사 전반에 걸쳐 일관된 인물 추적을 보장한다.

실험 결과

연구 질문

• RQ1 수동 애너테이션 부재에도 불구하고 자동으로 생성된 학습 데이터를 사용해 BERT가 문학 텍스트 내 정적 인물 관계를 효과적으로 분류할 수 있는가?
• RQ2 시간적 단어 임베딩이 서사 전반에 걸쳐 인물 관계의 동적 진화를 얼마나 잘 포착하는가?
• RQ3 시각화된 인물 궤적이 친구 관계나 적대 관계와 같이 알려진 서사 관계를 얼마나 잘 반영하는가?
• RQ4 비지도 시간적 임베딩이 문학적 플롯에서 인물의 분리 또는 통합과 같은 의미 있는 관계 전환을 드러낼 수 있는가?
• RQ5 이러한 접근법이 다양한 서사 구조와 어휘 복잡도를 지닌 다른 문학 텍스트로 일반화 가능한가?

주요 결과

• BERT 기반 분류기는 캐릭터 쌍당 모든 문장의 예측을 집계한 결과 하리포터 데이터셋에서 F-스코어 78% (±7%)를 기록하여 복잡한 문학 도메인에서 뛰어난 성능을 보였다.
• 양성 클래스의 F-스코어는 73% (±4%)였고, 음성 클래스의 F-스코어는 81% (±8%)였으며, 클래스 불균형에도 불구하고 균형 잡힌 성능을 보였다.
• 하리포터 학습 데이터를 사용해 LW 기준 평가를 실시한 결과 F-스코어는 64%로 하락했으며, 이는 과적합 가능성과 서사 구조의 도메인 특수성에 기인한 것으로 나타났다.
• 시간적 임베딩은 관계 역학을 성공적으로 포착했다: 해리의 론과 헤르미온느에 대한 코사인 거리는 시간이 지남에 따라 감소한 반면, 볼드모트에 대한 거리는 높고 안정적으로 유지되어 서사 역할을 반영했다.
• 리틀 레이디의 t-SNE 시각화에서는 소설의 중심 단계에서 조와 애미(집을 떠난 자)가 나머지 두 자매와 명확히 분리되어 있음을 확인했으며, 이는 모델이 관계 변화를 탐지할 수 있음을 확인한다.
• DBSCAN을 통한 별칭 제거와 시간적 임베딩의 조합은 일관된 인물 궤적 추적을 가능하게 하여 서사 이해를 위한 견고한 파이프라인을 형성했다.