[논문 리뷰] Strategies for Structuring Story Generation

Angela Fan, Mike Lewis외 1명|arXiv (Cornell University)|2019. 02. 04.

Topic Modeling참고 문헌 47인용 수 17

한 줄 요약

이 논문은 서사 생성을 위한 코arse-to-fine 프레임워크를 제안하며, 서사 생성을 세 단계로 분해한다: 행동에 대한 술어-논항 구조 생성, 자리표시자 엔티티를 포함한 스토리 생성, 자리표시자를 맥락에 민감한 참조로 대체하는 것. 이 방법은 스토리의 일관성과 다양성을 향상시키며, 인간 평가자들이 이의 출력 결과를 이전 방법들보다 선호한다.

ABSTRACT

Writers generally rely on plans or sketches to write long stories, but most current language models generate word by word from left to right. We explore coarse-to-fine models for creating narrative texts of several hundred words, and introduce new models which decompose stories by abstracting over actions and entities. The model first generates the predicate-argument structure of the text, where different mentions of the same entity are marked with placeholder tokens. It then generates a surface realization of the predicate-argument structure, and finally replaces the entity placeholders with context-sensitive names and references. Human judges prefer the stories from our models to a wide range of previous approaches to hierarchical text generation. Extensive analysis shows that our methods can help improve the diversity and coherence of events and entities in generated stories.

연구 동기 및 목표

• 자기회귀 언어 모델을 사용한 장문의 서사 생성에서 플롯의 일관성과 캐릭터 일관성을 유지하는 데 도전하는 데 목적을 두며.
• 고수준 계획 수립과 표면 수준의 텍스트 생성을 분리하는 효과적인 분해 전략을 탐색하는 데 목적을 두며.
• 수동 주석이 필요 없이 생성된 서사에서 엔티티 추적과 참조 해소를 향상시키는 데 목적을 두며.
• 어떤 텍스트 데이터셋에도 적용 가능한 확장성 있고 엔드 투 엔드로 학습 가능한 프레임워크를 개발하는 데 목적을 두며.

제안 방법

• 모델은 표면 형태에서 벗어나 서술 역할 레이블링(SRL)을 사용하여 행동의 구조적 술어-논항 표현을 먼저 생성한다.
• 그 후 엔티티를 위한 자리표시자 토큰(e.g., ent0)를 사용하여 구조적 일관성이 유지되는 스토리를 생성한다.
• 마지막으로 핵심어 인식 기반 생성 모듈을 사용하여 자리표시자를 맥락에 민감한 참조로 대체한다.
• 이 방법은 추상 표현에 대한 결정론적 사후 분포를 통해 공동 가능도를 최적화하기 위한 변동형 추론 프레임워크를 사용한다.
• 디코더에 특화된 자기주의 메커니즘은 이전에 생성된 동사들에만 집중하여 행동 시퀀스 모델링을 강화한다.
• 구조는 가중치가 있는 멀티헤드 어텐션을 갖춘 컨volutional 시퀀스 투 시퀀스 모델 기반으로, 장거리 맥락 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 서사 생성을 위한 어떤 분해 전략이 가장 높은 일관성과 다양성을 가진 서사를 만들어내는가?
• RQ2 행동과 엔티티를 별도의 구조적 단계에서 모델링하면 장거리 일관성 향상에 기여하는가?
• RQ3 엔드 투 엔드 자기회귀 모델 대비 코arse-to-fine 생성 방식은 엔티티 일관성과 참조 다양성에 어떤 영향을 미치는가?
• RQ4 모델은 감독 없이도 새로운, 맥락에 적절한 이름을 캐릭터와 장소에 대해 생성할 수 있는가?

주요 결과

• 인간 평가자들이 제안된 모델이 생성한 스토리를 다양한 이전 방법들보다 선호하여 서사 품질 향상을 시사한다.
• 행동 시퀀스를 먼저 생성함으로써 모델은 동사 다양성을 크게 향상시켰으며, 일반적인 이벤트 생성을 줄였다.
• 모델은 더 많은 비단일성 핵심어 체인과 엔티티 클러스터 내에서 더 높은 언급 다양성을 생성하여 더 나은 일관성과 참조 관리 능력을 나타낸다.
• 엔티티 대체 모듈은 복잡한 논의 맥락에서도 맥락에 민감한 이름과 참조를 성공적으로 생성하였다.
• 자동 평가 지표에서 핵심어 체인 길이와 다양성 향상으로 인해 모델은 베이스라인을 압도하며 일관성과 엔티티 일관성 측정에서 향상된 성능을 보였다.
• 정성적 분석 결과, 핵심어 인식 기반 모델은 암시적 참조(예: 개와 알레르기 간의 연결)를 정확히 해소한 반면, 융합 모델은 국소적 맥락에만 의존하였다.