[논문 리뷰] A Skeleton-Based Model for Promoting Coherence Among Sentences in Narrative Story Generation

Jingjing Xu, Xuancheng Ren외 4명|arXiv (Cornell University)|2018. 08. 21.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 문장 간 밀도 높은 의미적 연결을 확보하기 위해 먼저 핵심 의미적 어휘 조합(스켈레톤)을 생성한 후 이를 완전한 문장으로 확장하는 스켈레톤 기반 생성 모델을 제안한다. 수동 주석 없이 강화학습을 통해 스켈레톤을 자동으로 학습함으로써, 인간 평가에서 최신 기술 대비 G-스코어 20.1% 향상된 성능을 달성한다.

ABSTRACT

Narrative story generation is a challenging problem because it demands the generated sentences with tight semantic connections, which has not been well studied by most existing generative models. To address this problem, we propose a skeleton-based model to promote the coherence of generated stories. Different from traditional models that generate a complete sentence at a stroke, the proposed model first generates the most critical phrases, called skeleton, and then expands the skeleton to a complete and fluent sentence. The skeleton is not manually defined, but learned by a reinforcement learning method. Compared to the state-of-the-art models, our skeleton-based model can generate significantly more coherent text according to human evaluation and automatic evaluation. The G-score is improved by 20.1% in the human evaluation. The code is available at https://github.com/lancopku/Skeleton-Based-Generation-Model

연구 동기 및 목표

• 생성된 문장 간 의미적 연결이 끊어지는 문제로 인해 서사 스토리 생성의 통일성이 낮아지는 문제를 해결하기 위해.
• 전체 문장을 한 번에 생성하는 대신 핵심 의미적 어휘 조합에 집중하여 문장 간 의존 관계를 더 효과적으로 모델링하기 위해.
• 수동 주석이나 규칙 기반 추출 방법에 의존하지 않고 문장 스켈레톤을 자동으로 학습하기 위해.
• 스켈레톤 생성 후 문장 확장 단계를 거치는 이중 단계 생성 프로세스를 통해 스토리의 유창성과 통일성을 향상시키기 위해.
• 자동 평가 지표와 인간 평가를 병행하여 모델의 효과성을 평가하며, 특히 통일성과 의미적 관련성에 중점을 두기 위해.

제안 방법

• 모델은 이중 구조 아키텍처를 사용한다: 스켈레톤 기반 생성 모듈과 스켈레톤 추출 모듈.
• 입력에서 스켈레톤으로의 변환 모듈은 어텐션 기반 인코더-디코더 구조를 사용한 시퀀스-투-시퀀스 모델을 활용해 입력 기술서를 의미적 스켈레톤으로 매핑한다.
• 스켈레톤에서 문장으로의 변환 모듈은 다른 시퀀스-투-시퀀스 모델을 사용해 생성된 스켈레톤을 자연스럽고 완전한 문장으로 확장한다.
• 스켈레톤 추출 모듈과 생성 모듈을 연결하는 강화학습 프레임워크를 도입해 스켈레톤 품질을 종합적으로 최적화한다.
• 스켈레톤 추출 모듈은 이산적 결정으로서 단어 선택을 처리하는 미분 가능한 정책 네트워크를 사용해 전체 문장에서 핵심 어휘 조합(예: 서술어, 주어, 목적어)을 선택한다.
• 강화학습의 보상 신호는 인간 평가 점수(G-스코어)에서 유도되며, 이는 더 통일성 있는 스토리를 생성할 수 있도록 스켈레톤 생성을 유도한다.

실험 결과

연구 질문

• RQ1 일괄적 시퀀스-투-시퀀스 모델 대비 먼저 스켈레톤을 생성하고 이를 확장하는 이중 단계 생성 방식이 서사 스토리의 통일성 향상에 기여하는가?
• RQ2 수동 주석 없이도 강화학습이 문장 스켈레톤을 자동으로 학습하는 데 얼마나 효과적인가?
• RQ3 스켈레톤 기반 생성 방식은 의미적 희소성 문제를 어느 정도 완화하고 문장 간 의존성 모델링을 향상시키는가?
• RQ4 기존 모델들과 비교해 입력 길이 변화나 미리보지 못한 어휘 조합 상황에서 모델의 성능은 어떠한가?
• RQ5 생성된 스토리에서 가장 흔한 통일성 결함(예: 관련 없는 장면, 혼란스러운 시간 순서)은 무엇이며, 모델은 이를 어떻게 완화하는가?

주요 결과

• 제안된 스켈레톤 기반 모델은 인간 평가에서 최신 기술 대비 G-스코어 20.1% 향상되어 통일성 향상이 뚜렷하게 입증되었다.
• 모델은 인간 평가에서 통일성 점수 5.62를 기록했으며, 기준 모델인 Seq2Seq 모델의 4.98점보다 뚜렷이 높았다.
• 스켈레톤 추출 모듈은 뚜렷한 의미적 내용을 유지하면서도 여유로운 수식어를 제거하는 데 성공했으며, 추출된 스켈레톤의 정성적 분석을 통해 이를 확인할 수 있었다.
• 모델는 다양한 입력 길이와 미리보지 못한 어휘 비율 상황에서도 기준 모델 대비 상대적으로 안정적인 성능을 유지했으며, 통일성 저하 폭이 더 작았다.
• 오류 분석 결과, 낮은 통일성의 주요 원인은 관련 없는 장면(62.8%)이었으며, 이어 혼란스러운 문법 구조(25.8%)와 시간 순서 불일치(5.7%)가 뒤이었다.
• 제거 실험 결과, 스켈레톤 추출 모듈과 강화학습 모두 필수적임을 확인했으며, 두 구성 요소를 모두 포함한 전체 모델이 각각의 기능을 누락한 변형보다 뛰어난 성능을 보였다.