[논문 리뷰] Narrative Interpolation for Generating and Understanding Stories

Su Wang, Greg Durrett외 1명|arXiv (Cornell University)|2020. 08. 17.

Topic Modeling참고 문헌 16인용 수 26

한 줄 요약

이 논문은 GPT-2 모델을 미세조정하고 RoBERTa 기반의 일관성 재순서 모듈을 사용하여 시작 문장과 목표 종결 문장을 조건으로 삼아 일관되고 충실한 이야기를 생성하는 서사 보간 방법을 제안한다. 인간 평가 결과, 이전의 스토리라인 기반 방법보다 일관성, 충실도, 선호도 측면에서 뛰어난 성능을 보였으며, 사용자 입력이 훨씬 적게 필요하다.

ABSTRACT

We propose a method for controlled narrative/story generation where we are able to guide the model to produce coherent narratives with user-specified target endings by interpolation: for example, we are told that Jim went hiking and at the end Jim needed to be rescued, and we want the model to incrementally generate steps along the way. The core of our method is an interpolation model based on GPT-2 which conditions on a previous sentence and a next sentence in a narrative and fills in the gap. Additionally, a reranker helps control for coherence of the generated text. With human evaluation, we show that ending-guided generation results in narratives which are coherent, faithful to the given ending guide, and require less manual effort on the part of the human guide writer than past approaches.

연구 동기 및 목표

• 사용자가 지정한 스토리 종결문에 충실하면서도 최소한의 사용자 입력으로 일관되고 논리적으로 일관된 이야기를 생성하는 문제를 해결하기 위해.
• 핵심어 선택에 민감하고 높은 사용자 노력이 필요한 복잡한 수작업 스토리라인에 의존하는 것을 줄이기 위해.
• 불일치하거나 모순되는 생성 결과를 걸러내는 일관성 재순서 모듈을 도입하여 스토리 품질을 향상시키기 위해.
• 단일 종결 문장이 다중 핵심어 기반 스토리라인보다 더 강력하고 직관적인 제어 신호로 기능할 수 있는지 평가하기 위해.

제안 방법

• 모델은 GPT-2 기반 생성기로, 이전 문장과 목표 종결 문장을 조건으로 삼아 중간 사건을 보간하며, 컨텍스트 구조는 [종결] + [생성된 중간부분] + [시작]이다.
• 모델은 주어진 시작과 종결 사이의 갭을 메우는 단일 문장을 생성하도록 훈련되며, 생성 과정은 자동적으로 반복적으로 진행된다.
• RoBERTa 기반의 일관성 재순서 모듈이 적용되어 최상의 품질의 스토리 후보를 순위 매기고, 불일치하거나 모순되는 출력을 거른다.
• 모델은 전체 스토리라인을 요구하지 않는 제로샷 설정에서 (시작, 종결) 쌍으로부터 스토리를 생성함으로써 평가된다.
• 공정한 비교를 위해 인간이 작성한 스토리라인을 입력으로 사용하는 개량된 Plan-and-Write (paw) 모델과의 비교도 수행된다.
• 모델은 ROCStories 데이터셋으로 미세조정되며, 훈련 쌍은 RAKE 알고리즘을 사용해 후속 문장에서 핵심어를 추출하여 구성된다.

실험 결과

연구 질문

• RQ1 다중 핵심어 기반 스토리라인에 비해 단일 종결 문장이 일관되고 충실한 스토리를 생성하는 데 효과적이고 강력한 제어 신호로 기능할 수 있는가?
• RQ2 시작 문장과 종결 문장을 모두 조건으로 삼는 것이 서사의 일관성과 논리적 일관성을 향상시키는가?
• RQ3 RoBERTa 기반의 일관성 재순서 모듈이 불일치하거나 모순되는 출력을 걸러내어 생성된 스토리의 품질을 어느 정도 향상시키는가?
• RQ4 사용자 평가 기준으로 종결 문장 기반 생성과 스토리라인 기반 생성 간의 일관성, 충실도, 전체 선호도 측면에서 성능 비교는 어떻게 되는가?

주요 결과

• 종결 문장 기반 모델(interpol)은 인간 평가에서 NoRanking 기반 베이스라인(GPT-2 전용)보다 뚜렷이 뛰어났으며, 61.1%의 스토리가 더 일관성 있다고 평가되었고, 전체적으로 58.9%가 선호되었다.
• 일관성 재순서 모듈은 불일치하는 스토리의 비율을 감소시켰으며, interpol이 생성한 스토리 중 83.4%가 종결문에 충실하다고 평가된 반면, paw 기반 베이스라인은 33.3%에 그쳤다.
• 전체 선호도 측면에서 인간은 interpol이 생성한 스토리를 paw 모델의 결과보다 50.7% 더 선호했으며, 44.4%는 더 일관성 있다고 평가했고, 74.4%는 지시사항에 더 충실하다고 평가했다.
• 종결 문장을 조건으로 삼을 경우 전체 스토리 생성에서 단어피ece 퍼즐리티가 7.53으로 낮아져 종결 문장 지시의 정보성과 효과성을 확인했다.
• 이 방법은 스토리라인 기반 접근 방식보다 사용자 입력이 훨씬 적게 필요하며, 단일 종결 문장만 입력하면 되므로 더 적은 수작업이 요구된다.
• 핵심어가 모호하거나 부적절하게 선택된 경우 스토리라인 기반 모델에서 발생하는 실패 케이스를 피할 수 있어, 저특이성 입력에 대해 강건함을 입증했다.