[논문 리뷰] The Project Dialogism Novel Corpus: A Dataset for Quotation Attribution in Literary Texts

Krishnapriya Vishnubhotla, Adam Hammond외 1명|arXiv (Cornell University)|2022. 04. 12.

Topic Modeling인용 수 6

한 줄 요약

Project Dialogism Novel Corpus (PDNC)는 22편의 영문 소설에서 유래한 총 35,978개의 인용문을 수작업로 주어진 화자, 청자, 인용 유형, 지시어 표현, 캐릭터 언급 등에 대해 주석 처리한 대규모 수작업 주석 데이터셋이다. 이는 현재까지 가장 큰 유사 데이터셋이며, 인용문 할당 및 공호법 모델의 종합적 평가를 가능하게 하여, 공호법 해소가 화자 식별에서 여전히 주요 난제임을 드러낸다.

ABSTRACT

We present the Project Dialogism Novel Corpus, or PDNC, an annotated dataset of quotations for English literary texts. PDNC contains annotations for 35,978 quotations across 22 full-length novels, and is by an order of magnitude the largest corpus of its kind. Each quotation is annotated for the speaker, addressees, type of quotation, referring expression, and character mentions within the quotation text. The annotated attributes allow for a comprehensive evaluation of models of quotation attribution and coreference for literary texts.

연구 동기 및 목표

• 문학 텍스트에서 인용문 할당을 위한 대규모 고품질 데이터셋의 부족을 해결하기 위해.
• 특수한 특성(예: 대명사, 직함, 간접화법 등)을 포함한 인용문의 주석 처리 관행을 표준화하기 위해 상세한 지침을 제공함으로써.
• 최신 기술 및 베이스라인 모델을 새로운 대규모 벤치마크에서 평가하여 화자 할당에서 지속적인 과제를 특정하기 위해.
• 인용문 할당 실패 유형을 분석하고, 특히 공호법 해소가 잘못된 할당에 기여하는 방식을 규명하기 위해.
• 향후 캐릭터 수준 분석, 서사적 구조 및 작가 간 스타일적 경향성 연구를 지원하기 위해.

제안 방법

• 22편의 전기 소설에서 총 35,978개의 인용문을 화자, 청자, 인용 유형, 지시어 표현, 캐릭터 언급 등에 대해 수작업 주석 처리함.
• 직함(예: Mr., Mrs.)과 같은 특수한 문학적 현상, 가족 관계 표현, 지시어 대명사 등을 포함한 주석 처리의 표준화를 위한 종합적인 주석 지침 개발.
• PDNC 데이터셋에서 최신 기술 기반의 두 인용문 할당 시스템과 반지식 기반의 베이스라인을 평가함.
• 인용문 할당 패턴과 오류 원인을 분석하기 위해 히우리스틱 스크린(예: 트리그램, 의존 구문 분석, 문단 마지막 언급)을 적용함.
• 오류 지점의 규명을 위해 인용문 할당 파이프라인에 BookNLP의 공호법 해소 모델을 구성 요소로 활용함.
• 명시적, 암시적, 지시어 인용문을 포함한 다양한 인용 유형에 따른 모델 성능을 정량적으로 분석함.

실험 결과

연구 질문

• RQ1 명시적, 암시적, 지시어 인용문과 같은 다양한 유형의 인용문에서 인용문 할당 모델의 성능는 어떻게 달라지나?
• RQ2 공호법 해소 오류가 문학 텍스트에서 화자 오할당에 얼마나 기여하는가?
• RQ3 구문적 및 맥락적 특징에 기반한 히우리스틱 스크린이 할당 정확도를 향상시킬 수 있으며, 어디서 실패하는가?
• RQ4 이 작업에서 스타일로메트릭 분류 기반의 베이스라인은 종합 신경망 모델과 어떻게 비교되는가?
• RQ5 화자 할당에서 가장 흔한 실패 패턴은 무엇이며, 이는 캐릭터 언급의 모호성과 대명사 해소와 어떻게 관련되어 있는가?

주요 결과

• 두 최신 기술 기반 인용문 할당 모델은 PDNC 데이터셋에서 평균 정확도 0.62와 0.63을 기록하여 향후 개선 여지가 크다는 것을 확인함.
• 공호법 해소가 주요 오류 원인으로 규명되었으며, 특히 지시어 및 암시적 인용문에서는 정확도가 50% 이하로 유지됨.
• 명시적 인용문조차도 트리그램 또는 의존 구문 분석 스크린에 의해 완전히 포착되지 않아, 명시적 언급이 있음에도 복잡한 지시어 표현이 여전히 존재함을 시사함.
• 문단 마지막 언급 스크린은 영향을 거의 미치지 않아, 문학 텍스트에서 이 스크린이 거의 발생하지 않음을 시사함.
• 간단한 반지식 기반의 베이스라인이 경쟁적인 성능을 기록하여, 자원이 제한된 환경에서 강력한 대안임을 입증함.
• 스타일로메트릭 분류 모델이 암시적 및 명시적 인용문에서 파이프라인 기반 모델보다 뛰어난 성능을 보여, 직접 화자 예측 방식이 언급 기반 클러스터링보다 더 견고할 수 있음을 시사함.