[論文レビュー] Story Generation from Sequence of Independent Short Descriptions

Parag Jain, Priyanka Agrawal+4 more|arXiv (Cornell University)|Jul 18, 2017

Natural Language Processing Techniques参考文献 32被引用数 80

ひとこと要約

この論文は3つの手法—フレーズベースの SMT、構文ベースの SMT、注意機構付き Seq2Seq—を用いて独立した説明文から一貫した物語を生成する実験を行い、VIST データセットで評価する。

ABSTRACT

Existing Natural Language Generation (NLG) systems are weak AI systems and exhibit limited capabilities when language generation tasks demand higher levels of creativity, originality and brevity. Effective solutions or, at least evaluations of modern NLG paradigms for such creative tasks have been elusive, unfortunately. This paper introduces and addresses the task of coherent story generation from independent descriptions, describing a scene or an event. Towards this, we explore along two popular text-generation paradigms -- (1) Statistical Machine Translation (SMT), posing story generation as a translation problem and (2) Deep Learning, posing story generation as a sequence to sequence learning problem. In SMT, we chose two popular methods such as phrase based SMT (PB-SMT) and syntax based SMT (SYNTAX-SMT) to `translate' the incoherent input text into stories. We then implement a deep recurrent neural network (RNN) architecture that encodes sequence of variable length input descriptions to corresponding latent representations and decodes them to produce well formed comprehensive story like summaries. The efficacy of the suggested approaches is demonstrated on a publicly available dataset with the help of popular machine translation and summarization evaluation metrics.

研究の動機と目的

• 独立した短い説明から一貫した物語を生成する課題を導入する。
• 従来の SMT アプローチ（pb-SMT と syntax-SMT）と神経 Seq2Seq モデルによる物語生成を比較する。
• 公開データセット（VIST）上で現在の方法の実現性と限界を示す。
• 評価のギャップを強調し、創造的なテキスト生成の指標改善方向を提案する。

提案手法

• GIZA++ のアライメントと MOSES のデコードを用いて pb-SMT および syntax-SMT の翻訳問題として物語生成を定式化する。
• Kneser-Ney の平滑化を用いてターゲットとなる物語で 5-gram 言語モデルを訓練し、MERT で調整する。
• 注意機構付きの Seq2Seq エンコーダ-デコーダを実装し、双方向 GRU エンコーダを用いて入力説明を物語へマッピングし、ドロップアウトと Adam 最適化を用いる。
• エンコーダ/デコーダの次元を 50、128、256 の Seq2Seq バリアントを試し、デコード時にはビームサーチを使用する。
• BLEU-4、METEOR、TER、ROUGE-L を用いて評価し、一貫性と意味的関連性について定性的観察を報告する。

実験結果

リサーチクエスチョン

• RQ1 独立した短い説明文を SMT および Seq2Seq アプローチを用いて一貫した物語へ変換できるか？
• RQ2 フレーズベース SMT、構文ベース SMT、注意機構付き Seq2Seq は物語生成の標準的な NLG 指標でどう比較されるか？
• RQ3 物語生成時に入力説明との意味的関連性を捉える際、現在の方法にはどんな限界があるか？
• RQ4 説明からの創造的な物語を評価するのに適切なデータセットと評価指標は何か？
• RQ5 意味的整合性と創造性を高める未来の方向性は何か？

主な発見

方法	BLEU-4	METEOR	TER	ROUGE-L
pb-SMT	3.50	10.30	102.95	0.179
syntax-SMT	3.40	10.06	102.03	0.180
Seq2Seq (50)	1.63	0.07	89.38	0.160
Seq2Seq (128)	1.84	0.07	89.35	0.163
Seq2Seq (256)	1.98	0.07	89.23	0.166

• PB-SMT は BLEU-4、METEOR、および ROUGE-L の点で、テストされた手法の中で最高得点を達成し、次いで syntax-SMT。
• Seq2Seq モデルは n-gram ベースのスコアは低いが、より読みやすく一貫した物語を生成でき、TER が低いことから翻訳品質の向上を示す。
• すべての手法は入力説明に意味的に結びつく物語を生成するのには苦戦しており、より高度なモデルと評価指標の必要性を示している。
• Seq2Seq の訓練曲線は収束を示唆するが、出力は訓練データとモデリング手法に制限されている。
• 本研究は階層的 RNN の探索、大規模コーパスでの事前学習、または直接入力-出力語 mappings を超えるテスト時の新規生成の可能性を提案している。