[논문 리뷰] Story Generation from Sequence of Independent Short Descriptions

Parag Jain, Priyanka Agrawal외 4명|arXiv (Cornell University)|2017. 07. 18.

Natural Language Processing Techniques참고 문헌 32인용 수 80

한 줄 요약

본 논문은 독립적인 설명으로부터 일관된 이야기를 생성하기 위하여 세 가지 접근법(문구 기반 SMT, 구문 기반 SMT, 그리고 주의(attention)를 가진 Seq2Seq)을 사용하고, VIST 데이터셋에서 이를 평가한다.

ABSTRACT

Existing Natural Language Generation (NLG) systems are weak AI systems and exhibit limited capabilities when language generation tasks demand higher levels of creativity, originality and brevity. Effective solutions or, at least evaluations of modern NLG paradigms for such creative tasks have been elusive, unfortunately. This paper introduces and addresses the task of coherent story generation from independent descriptions, describing a scene or an event. Towards this, we explore along two popular text-generation paradigms -- (1) Statistical Machine Translation (SMT), posing story generation as a translation problem and (2) Deep Learning, posing story generation as a sequence to sequence learning problem. In SMT, we chose two popular methods such as phrase based SMT (PB-SMT) and syntax based SMT (SYNTAX-SMT) to `translate' the incoherent input text into stories. We then implement a deep recurrent neural network (RNN) architecture that encodes sequence of variable length input descriptions to corresponding latent representations and decodes them to produce well formed comprehensive story like summaries. The efficacy of the suggested approaches is demonstrated on a publicly available dataset with the help of popular machine translation and summarization evaluation metrics.

연구 동기 및 목표

• 독립적인 짧은 설명으로부터 일관된 서사를 생성하는 도전과제를 소개한다.
• 전통적인 SMT 접근법(pb-SMT 및 syntax-SMT)과 신경 Seq2Seq 모델 간의 서사 생성 비교를 수행한다.
• 공개 데이터셋(VIST)에서 현 방법의 가능성과 한계를 입증한다.
• 평가의 간극을 강조하고 창의적 텍스트 생성 지표의 개선 방향을 제시한다.

제안 방법

• pb-SMT 및 syntax-SMT의 이야기 생성을 번역 문제로 형식화하고, GIZA++ 정렬과 MOSES를 이용한 디코딩.
• Kneser-Ney 스무딩을 사용하여 스토리 대상에 대해 5-그램 언어 모델을 학습하고 MERT로 튜닝한다.
• 어텐션이 있는 Seq2Seq 인코더-디코더를 구현하고, 양방향 GRU 인코더를 사용하여 입력 설명을 이야기로 매핑하며 드롭아웃과 Adam 최적화를 사용한다.
• 인코더/디코더 차원을 각각 50, 128, 256으로 하는 Seq2Seq 변형을 실험하고 디코딩 시 빔 탐색을 사용한다.
• BLEU-4, METEOR, TER 및 ROUGE-L로 평가하고 일관성과 의미 관련성에 대한 정성적 관찰을 보고한다.

실험 결과

연구 질문

• RQ1 독립적인 짧은 설명을 SMT 및 Seq2Seq 접근법을 사용하여 일관된 이야기로 변환할 수 있는가?
• RQ2 문구 기반 SMT, 구문 기반 SMT, 그리고 주의(attention)를 갖춘 Seq2Seq가 이야기 생성을 위한 표준 NLG 지표에서 어떻게 비교되는가?
• RQ3 이야기를 생성할 때 입력 설명과의 의미적 관련성을 포착하는 현재 방법의 한계는 무엇인가?
• RQ4 설명으로부터 창의적 이야기 생성을 평가하기에 적합한 데이터세트와 평가 지표는 무엇인가?
• RQ5 입력-출력 단어 매핑을 넘어서는 의미적 응집력과 창의성을 향상시킬 수 있는 향후 방향은 무엇인가?

주요 결과

방법	BLEU-4	METEOR	TER	ROUGE-L
pb-SMT	3.50	10.30	102.95	0.179
syntax-SMT	3.40	10.06	102.03	0.180
Seq2Seq (50)	1.63	0.07	89.38	0.160
Seq2Seq (128)	1.84	0.07	89.35	0.163
Seq2Seq (256)	1.98	0.07	89.23	0.166

• PB-SMT가 BLEU-4, METEOR, ROUGE-L에서 테스트된 방법들 중 가장 높은 점수를 달성했고, 그 다음으로 syntax-SMT.
• Seq2Seq 모델은 n-그램 기반 점수가 낮지만 더 읽기 쉽고 일관된 이야기를 생성할 수 있으며, 낮은 TER이 향상된 번역 품질을 나타낸다.
• 모든 방법은 입력 설명과 의미적으로 연결된 이야기를 생성하는 데 어려움을 겪으며, 더 정교한 모델과 평가 지표의 필요성을 시사한다.
• Seq2Seq 학습 곡선은 수렴을 시사하지만 출력은 학습 데이터 및 모델링 접근 방식에 의해 여전히 제한된다.
• 연구는 계층적 RNN, 대규모 말뭉치에 대한 사전 학습, 또는 입력-출력 단어 매핑을 넘어서는 테스트 시의 새로운 생성 기법을 탐구할 것을 제안한다.