[論文レビュー] LSTM vs. GRU vs. Bidirectional RNN for script generation

Sanidhya Mangal, Poorva Joshi+1 more|arXiv (Cornell University)|Aug 12, 2019

Natural Language Processing Techniques参考文献 17被引用数 33

ひとこと要約

この論文は、前回の会話に基づいて新しい文字レベルのスクリプトを生成するために LSTM、GRU、Bidirectional RNN モデルを比較し、性能と効率を分析します。

ABSTRACT

Scripts are an important part of any TV series. They narrate movements, actions and expressions of characters. In this paper, a case study is presented on how different sequence to sequence deep learning models perform in the task of generating new conversations between characters as well as new scenarios on the basis of a script (previous conversations). A comprehensive comparison between these models, namely, LSTM, GRU and Bidirectional RNN is presented. All the models are designed to learn the sequence of recurring characters from the input sequence. Each input sequence will contain, say "n" characters, and the corresponding targets will contain the same number of characters, except, they will be shifted one character to the right. In this manner, input and output sequences are generated and used to train the models. A closer analysis of explored models performance and efficiency is delineated with the help of graph plots and generated texts by taking some input string. These graphs describe both, intraneural performance and interneural model performance for each model.

研究の動機と目的

• 研究による動機付けは、異なるシーケンス・トゥ・シーケンスモデルがスクリプト生成タスクをどのように扱うかを探ることです。
• LSTM、GRU、および Bidirectional RNN が入力データから再発する文字列パターンを学習する能力を調査します。
• モデルの性能と生成出力の質を包括的に定性的および視覚的に比較します。

提案手法

• 入力シーケンスとターゲットシーケンスが shifted character sequences からなるシーケンス・ツー・シーケンス モデリングを使用します。
• LSTM、GRU、および Bidirectional RNN モデルを同じスクリプトベースのデータで訓練し、再発する文字パターンを学習させます。
• グラフベースの intraneural および interneural の性能分析と生成テキストサンプルの検査を用いてモデルを評価します。
• 生成された出力とプロットしたグラフを通じてモデル間の効率と性能を比較します。

実験結果

リサーチクエスチョン

• RQ1 LSTM、GRU、および Bidirectional RNN のどれが与えられたデータでより高品質な文字レベルのスクリプト生成を生み出しますか？
• RQ2 学習する際の訓練/推論の効率と内部表現の点でモデルはどのように比較されますか？
• RQ3 生成されたテキストは各モデルがスクリプト風の対話とシナリオを捉える能力を何を示していますか？

主な発見

• 本論文は、スクリプト生成のための LSTM、GRU、および Bidirectional RNN の包括的な比較を提示します。
• 性能と効率は、各モデルの intraneural および interneural の側面を説明するグラフとともに分析されます。
• 生成されたテキストは入力ごとのモデルの挙動を示すために用いられ、出力の定性的な差異を強調します。