[논문 리뷰] proScript: Partially Ordered Scripts Generation via Pre-trained Language Models

Keisuke Sakaguchi, Chandra Bhagavatula외 4명|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 33인용 수 8

한 줄 요약

이 논문은 일상적인 상황을 위한 부분적으로 순서가 지정된 스크립트를 대규모(6.4k)로 커뮤니티 기반으로 수집한 proScript 데이터셋을 소개하고, 미세조정된 사전 훈련된 언어 모델을 사용하여 두 가지 새로운 과제—간선 예측과 전체 스크립트 생성—을 제안한다. 모델들은 간선 예측에서 뛰어난 성능(F1=75.7)을 보이며, 처음으로 생성 모델이 구조적이고 부분적으로 순서가 지정된 스크립트를 효과적으로 생성할 수 있음을 입증한다. 다만 인간 수준의 정확도에 비해 여전히 큰 성능 격차가 존재한다.

ABSTRACT

Scripts - standardized event sequences describing typical everyday activities - have been shown to help understand narratives by providing expectations, resolving ambiguity, and filling in unstated information. However, to date they have proved hard to author or extract from text. In this work, we demonstrate for the first time that pre-trained neural language models (LMs) can be be finetuned to generate high-quality scripts, at varying levels of granularity, for a wide range of everyday scenarios (e.g., bake a cake). To do this, we collected a large (6.4k), crowdsourced partially ordered scripts (named proScript), which is substantially larger than prior datasets, and developed models that generate scripts with combining language generation and structure prediction. We define two complementary tasks: (i) edge prediction: given a scenario and unordered events, organize the events into a valid (possibly partial-order) script, and (ii) script generation: given only a scenario, generate events and organize them into a (possibly partial-order) script. Our experiments show that our models perform well (e.g., F1=75.7 in task (i)), illustrating a new approach to overcoming previous barriers to script collection. We also show that there is still significant room for improvement toward human level performance. Together, our tasks, dataset, and models offer a new research direction for learning script knowledge.

연구 동기 및 목표

• 일상적인 상황을 위한 고품질의 구조적 공리적 스크립트를 수집하고 생성하는 데 오랫동안 지속된 과제를 해결하기 위해.
• 다양한 해상도와 시간 지속성을 반영한 부분적으로 순서가 지정된 스크립트의 대규모 커뮤니티 기반 데이터셋(proScript)을 개발하기 위해.
• 서로 보완적인 두 가지 과제를 도입: (i) 간선 예측—주어진 상황과 순서가 지정되지 않은 이벤트로부터 유효한 부분적 순서 스크립트를 예측하는 것; (ii) 스크립트 생성—상황만으로 이벤트와 그들의 부분적 순서를 생성하는 것.
• 사전 훈련된 언어 모델이 스크립트 생성을 위해 효과적으로 미세조정될 수 있음을 입증하여, 이전에 스크립트 수집 및 모델링의 장벽을 극복하기 위해.
• 내용 어색함 제거 등의 기존의 서사 클로즈 과제를 넘어서, 전체 스크립트의 구조와 품질에 중점을 둔, 스크립트 지식 평가를 위한 새로운 벤치마크를 설정하기 위해.

제안 방법

• 간단한 방법을 사용하여 6.4k개의 부분적으로 순서가 지정된 스크립트를 커뮤니티 기반으로 수집하고, 이벤트의 해상도, 시간 지속성, 수정 유형에 대한 주석을 추가한다.
• 두 가지 과제를 정의: (i) 간선 예측—상황과 순서가 지정되지 않은 이벤트가 주어졌을 때, 유효한 부분적 순서 스크립트를 예측하는 것; (ii) 스크립트 생성—상황만으로 이벤트와 그들의 부분적 순서를 생성하는 것.
• T5, BART 등 사전 훈련된 언어 모델을 두 과제 모두에 대해 미세조정하고, 시퀀스 생성과 그래프 구조 예측을 결합한다.
• 모델 출력을 인간 주석 기반 스크립트와 비교하기 위해 그래프 편집 거리와 인간의 수정 분석을 사용한다.
• WikiHow와 proScript_gen를 사용하여 전이 학습 및 파이프라인 베이스라인을 구현하여 성능을 비교한다.
• 오류 분석을 위해 인간 평가를 실시하여 수정 유형(예: 잘못된 순서, 누락된 이벤트, 다듬어진 이벤트 등)을 분류한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 일상적인 상황을 위한 고품질의 부분적으로 순서가 지정된 스크립트를 효과적으로 생성하도록 미세조정될 수 있는가?
• RQ2 모델이 생성한 스크립트의 성능은 인간이 만든 스크립트에 비해 구조적 정확성과 일관성 측면에서 어떻게 비교되는가?
• RQ3 간선 예측과 전체 스크립트 생성 과제는 스크립트 지식의 어떤 다른 측면을 반영하는가?
• RQ4 모델이 생성한 스크립트에서 가장 흔한 오류 유형은 무엇이며, 인간의 수정 패턴과 비교해보면 어떠한가?
• RQ5 전이 학습 또는 파이프라인 접근 방식이 proScript에 직접적인 미세조정을 넘어서 스크립트 생성 성능을 향상시킬 수 있는가?

주요 결과

• proScript 데이터셋은 6,400개의 커뮤니티 기반으로 수집된 부분적으로 순서가 지정된 스크립트를 포함하며, 다양한 해상도와 시간 지속성 주석이 포함되어 있어 이전 데이터셋보다 훨씬 크다.
• 최고의 모델은 간선 예측 과제에서 F1 점수 75.71을 기록하여 베이스라인을 능가하지만, 여전히 인간 성능(89.28)에 못 미친다.
• 전체 스크립트 생성 과제에서 최고의 모델은 그래프 편집 거리 4.97을 기록했고, 인간이 만든 스크립트의 2.98과 비교해 보면 향상 여지가 크다는 것을 시사한다.
• 간선 관련 수정(예: 잘못된 순서)이 가장 흔한 오류 유형이므로, 현재 모델이 부분 순서 구조를 정확히 유지하는 데 여전히 핵심적인 과제를 안고 있음을 시사한다.
• 작은 수정(예: 다듬어진 표현, 해상도 조정 등)이 치명적인 오류(예: 누락 또는 관련 없는 이벤트)보다 더 흔한 것으로 나타나, 모델이 타당하지만 구조적으로 결함이 있는 스크립트를 생성하고 있음을 시사한다.
• 전이 학습 및 파이프라인 베이스라인은 proScript에 직접적인 미세조정 성능을 뛰어나지 못하며, 이는 proScript_gen가 이미 스크립트 생성을 위한 강력한 베이스라인임을 시사한다.