[논문 리뷰] InScript: Narrative texts annotated with script information

Ashutosh Modi, Tatjana Anikina외 2명|arXiv (Cornell University)|2017. 03. 15.

Natural Language Processing Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 1,000개의 서사 스토리로 구성된 InScript라는 코퍼스를 소개한다. 이 코퍼스는 사건 및 참가자 유형, 공명사 관계를 포함한 스크립트 지식으로 주석이 달려 있으며, 자연어처리에서 스크립트 기반 언어 이해 연구를 가능하게 한다. 이 코퍼스는 높은 어휘 다양성과 DeScript 코퍼스와의 강한 정렬 잠재력을 보이며, NLP에서 스크립트 지식 모델링에 기여한다.

ABSTRACT

This paper presents the InScript corpus (Narrative Texts Instantiating Script structure). InScript is a corpus of 1,000 stories centered around 10 different scenarios. Verbs and noun phrases are annotated with event and participant types, respectively. Additionally, the text is annotated with coreference information. The corpus shows rich lexical variation and will serve as a unique resource for the study of the role of script knowledge in natural language processing.

연구 동기 및 목표

• 서사 기반의 대규모 코퍼스를 스크립트 지식으로 주석 처리하여, 스크립트 이해가 텍스트 이해를 어떻게 지원하는지 연구하기 위해.
• 스크립트 지식이 독자의 기대 형성, 공명사 해소, 일반 지식 추론에 미치는 역할을 조사하기 위해.
• 일반적인 스크립트 기술(DeScript)과 구체화된 서사(InsScript)를 연결하는 자원을 제공하여, 텍스트-스크립트 정렬 연구를 지원하기 위해.
• MTLD 및 엔트로피 지표를 사용하여 서사 텍스트와 일반적인 스크립트 기술 간의 어휘 변동성을 분석하기 위해.
• 스크립트 주석이 달린 텍스트를 활용하여 문장의 놀라움과 정보 밀도를 모델링하는 데 기여하기 위해.

제안 방법

• 1,000개의 스토리를 아마존 메카니컬 터크를 통해 수집하였으며, 10개의 서로 다른 시나리오(예: 목욕하기, 케이크 굽기, 비행기 탑승하기)당 100개의 스토리씩 수집하였다.
• 동사에 사건 유형(예: ScrEv_turn_water_on)을 주석 처리하고, 명사구에는 참가자 유형(예: ScrPart_bather, ScrPart_tap)을 주석 처리하였다.
• 공명사 주석을 적용하여 스크립트 구조와 대명사 또는 확정 명사구 해소 간의 의존 관계를 연구하였다.
• InScript와 DeScript 간의 어휘 변동성을 비교하기 위해 임계값 0.71을 사용한 텍스트 어휘 다양성 측정(MTLD)을 사용하였다.
• 사건 발생 빈도가 10회 미만인 사건을 제외하고, 동사 어간에 대한 엔트로피를 계산하여 스크립트 사건의 어휘 실현 변동성을 정량화하였다.
• InScript 서사 텍스트를 DeScript의 일반적 사건 순서(ESDs)와 정렬하여 향후 자동 텍스트-스크립트 매핑을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 스크립트 지식은 서사 텍스트에서 공명사 해소와 맥락 통합에 어떻게 영향을 미치는가?
• RQ2 서사 텍스트는 일반적인 스크립트 기술에 비해 얼마나 높은 어휘 변동성을 보이는가?
• RQ3 다양한 시나리오(예: 단순 vs. 복잡)는 서사 텍스트의 어휘 다양성과 사건 실현에 어떻게 영향을 미치는가?
• RQ4 엔트로피와 MTLD 지표는 서사 텍스트와 추상적 스크립트 기술 간의 어휘 실현 차이를 신뢰성 있게 캡처할 수 있는가?
• RQ5 서사 텍스트는 다운스트림 NLP 작업을 위해 일반적인 스크립트 구조(예: DeScript)와 얼마나 잘 정렬될 수 있는가?

주요 결과

• InScript는 평균 200단어의 서사 스토리 1,000개로 구성되어 있으며, 총 약 200,000단어이며, 사건 유형, 참가자 유형, 공명사 주석이 포함되어 있다.
• MTLD 측정을 통해 DeScript에 비해 InScript는 유의미하게 더 높은 어휘 다양성을 보이며, 모든 10개 시나리오에서 일관되게 높은 값을 기록하였다.
• 엔트로피 분석을 통해 'spend_time_train'과 같은 사건 유형은 높은 어휘 변동성(높은 엔트로피)을 보였고, 'wait'와 같은 유형은 낮은 변동성을 보여, 복잡한 활동에 대해 다양한 언어적 실현이 이루어짐을 시사하였다.
• '비행기 탑승하기' 시나리오는 InScript와 DeScript 양쪽 모두에서 가장 높은 어휘 다양성을 보였으며, 이는 복잡한 시나리오가 자연스럽게 더 높은 어휘 변동성을 유도함을 시사한다.
• 가장 빈번한 참가자 유형(예: 'bather', 'bathtub')의 평균 언급 수는 덜 빈번한 유형보다 유의미하게 높았으며, 이는 핵심적인 스크립트 참가자에 대한 공명사 편향이 있음을 나타낸다.
• 이 코퍼스는 서사 텍스트가 풍부한 어휘 변동성을 통해 스크립트를 구체화함을 지지하며, 맥락 인식 기반 NLP 시스템에서 스크립트 지식 연구에 이상적인 자원임을 뒷받침한다.