[논문 리뷰] Cue Me In: Content-Inducing Approaches to Interactive Story Generation

Faeze Brahman, Alexandru Petrusca외 1명|arXiv (Cornell University)|2020. 10. 20.

Topic Modeling참고 문헌 35인용 수 6

한 줄 요약

이 논문은 사용자가 중간 수준의 단서 문장을 통해 스토리 진행을 이끄는 상호작용형 스토리 생성을 위한 두 가지 새로운 콘텐츠 유도 기법—Cued Writer와 Relevance Cued Writer—을 제안한다. 트랜스포머 기반 모델에서 계층적 어텐션을 사용함으로써, 이 방법들은 주제 일관성과 개인화를 향상시켜 자동 평가와 인간 평가 모두에서 유의미한 향상(유창성과 관련성 향상)을 보였다.

ABSTRACT

Automatically generating stories is a challenging problem that requires producing causally related and logical sequences of events about a topic. Previous approaches in this domain have focused largely on one-shot generation, where a language model outputs a complete story based on limited initial input from a user. Here, we instead focus on the task of interactive story generation, where the user provides the model mid-level sentence abstractions in the form of cue phrases during the generation process. This provides an interface for human users to guide the story generation. We present two content-inducing approaches to effectively incorporate this additional information. Experimental results from both automatic and human evaluations show that these methods produce more topically coherent and personalized stories compared to baseline methods.

연구 동기 및 목표

• 출력 중 사용자가 제어할 수 없는 한 번에 전체 스토리를 생성하는 방식의 한계를 해결하기 위해, 상호작용적이고 점진적인 스토리 생성을 가능하게 하기 위해.
• 실시간으로 사용자가 제공한 단서 문장을 효과적으로 스토리 생성에 통합할 수 있는 콘텐츠 유도 기법을 개발하기 위해.
• 어텐션 기반 기법을 통해 문맥과 단서 문장 정보를 융합함으로써 스토리의 일관성과 개인화를 향상시키기 위해.
• 자동 평가 지표와 인간 평가를 통해 이러한 방법의 효과성을 평가하기 위해.
• 특히 교육 및 접근성 응용 분야에서 인간-컴퓨터 협업 창작의 가능성을 탐색하기 위해.

제안 방법

• Cued Writer 모델은 스토리 문맥과 단서 문장을 각각 처리하는 두 개의 독립적인 인코더를 사용하며, 단서와 생성된 문장 간의 정렬을 위해 크로스 어텐션 메커니즘을 적용한다.
• Relevance Cued Writer는 Cued Writer를 확장하여, 문맥과 단서 문장 간의 의미적 관련성을 명시적으로 측정하기 위해 문맥-단서 다중헤드 어텐션 유닛을 추가한다.
• 두 모델 모두 자동회귀 생성 중 계층적 어텐션 기반 기법을 통해 단서 정보를 통합하는 엔드 투 엔드 훈련 가능한 트랜스포머 네트워크이다.
• 모델은 각 문장을 이전의 문맥과 현재 사용자가 제공한 단서 문장을 조건으로 하여 한 줄씩 생성한다.
• 외부 지식(예: 단서 문장)은 디코더 어텐션 메커니즘에 융합되어 콘텐츠 선택을 안내하고 일관성을 유지한다.
• 모델은 자동 평가 지표와 인간 평가(유창성, 관련성, 주제 일관성)를 통해 평가된다.

실험 결과

연구 질문

• RQ1 사용자가 제공한 단서 문장은 상호작용적이고 점진적인 환경에서 스토리 생성을 효과적으로 이끄는가?
• RQ2 단서 문장을 신경망 순차 모델에 통합하여 스토리의 일관성과 개인화를 향상시킬 수 있는가?
• RQ3 문맥과 단서 문장 간의 관련성 모델링은 독립적 인코딩보다 더 나은 생성 품질을 이끌어내는가?
• RQ4 제안된 모델은 유창성, 관련성, 주제 일致성 측면에서 강력한 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 단서 문장을 활용한 상호작용형 스토리 생성은 한 번에 전체 스토리를 생성하는 방식보다 더 매력적이고 개인화된 내러티브를 만들어내는가?

주요 결과

• 인간 평가에서 Relevance Cued Writer 모델은 문장 수준에서 Seq2Seq 베이스라인 대비 72%의 선호도를 기록했으며, p < 0.001로 통계적으로 유의미한 결과를 보였다.
• 인간 평가자들은 Cued Writer 모델보다 Vanilla 베이스라인 대비 64%의 경우에서 Relevance Cued Writer를 선호했으며, 이는 문맥-단서 관련성 모델링의 추가적 이점이 있음을 시사한다.
• 스토리 수준 평가에서 Relevance Cued Writer는 모든 베이스라인을 초월했으며, 이중 비교에서 70% 이상의 선호도를 기록했다.
• 기존 베이스라인 대비 단서 문장을 더 정확하게 통합했으며, 누락되거나 타당하지 않거나 반복적인 언급이 줄어들었다.
• 오류 분석 결과, 공호성 해결과 주제 이외의 내용 생성 문제 등 지속적인 과제가 드러났으며, 추론 기반 문맥 연결과 주제 일관성 향상 여지가 있음을 시사한다.
• 결과는 상호작용적이고 단서 기반 스토리 생성이 한 번에 전체 스토리를 생성하는 방식보다 더 개인화되고 일관성 있는 내러티브를 만들어낸다는 것을 확인한다.