[论文解读] LSTM vs. GRU vs. Bidirectional RNN for script generation

Sanidhya Mangal, Poorva Joshi+1 more|arXiv (Cornell University)|Aug 12, 2019

Natural Language Processing Techniques参考文献 17被引用 33

一句话总结

本论文比较 LSTM、GRU、和 Bidirectional RNN 模型在基于先前对话生成新的字符级脚本方面的性能与效率。

ABSTRACT

Scripts are an important part of any TV series. They narrate movements, actions and expressions of characters. In this paper, a case study is presented on how different sequence to sequence deep learning models perform in the task of generating new conversations between characters as well as new scenarios on the basis of a script (previous conversations). A comprehensive comparison between these models, namely, LSTM, GRU and Bidirectional RNN is presented. All the models are designed to learn the sequence of recurring characters from the input sequence. Each input sequence will contain, say "n" characters, and the corresponding targets will contain the same number of characters, except, they will be shifted one character to the right. In this manner, input and output sequences are generated and used to train the models. A closer analysis of explored models performance and efficiency is delineated with the help of graph plots and generated texts by taking some input string. These graphs describe both, intraneural performance and interneural model performance for each model.

研究动机与目标

• 通过探索不同的序列到序列模型如何处理脚本生成任务来推动本研究。
• 研究 LSTM、GRU、和 Bidirectional RNN 从输入数据中学习重复出现的字符序列的能力。
• 提供对模型性能和生成输出的全面定性与可视化比较。

提出的方法

• 使用序列到序列建模，其中输入和目标序列由移位的字符序列组成。
• 在相同的基于脚本的数据上训练 LSTM、GRU、和 Bidirectional RNN 模型，以学习重复出现的字符模式。
• 通过基于图的分析来评估模型的 intraneural 与 interneural 性能，并通过检查生成的文本样本。
• 通过生成的输出和绘制的图表比较各模型的效率与性能。

实验结果

研究问题

• RQ1 在给定数据上，LSTM、GRU、和 Bidirectional RNN 哪一个在字符级脚本生成质量上表现更好？
• RQ2 在学习重复字符序列时，模型在训练/推理效率与内部表示方面的比较如何？
• RQ3 生成的文本揭示了各模型在捕捉脚本风格的对话与情景方面的能力？

主要发现

• 本文对 LSTM、GRU、和 Bidirectional RNN 在脚本生成方面进行了全面比较。
• 通过描述每个模型的 intraneural 与 interneural 方面的图表来分析性能与效率。
• 生成文本用于说明模型在不同输入下的行为，突出输出的定性差异。