[論文レビュー] Exploring Story Generation with Multi-task Objectives in Variational Autoencoders

Zhuohan Xie, Trevor Cohn+1 more|arXiv (Cornell University)|Nov 15, 2021

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、物語生成の品質と多様性を向上させるために、BERTとGPT-2を組み合わせたドメイン特化型変分オートエンコーダー（VAE）を提案する。2つの補助的目的、すなわち物語のトピック予測と話法的関係の識別を導入することで、より情報豊かな潜在変数を学習する。この強化されたVAEは、複数のデータセットにおいてGPT-2やヴァーチャルVAEよりも優れた品質-多様性トレードオフを達成した。

ABSTRACT

GPT-2 has been frequently adapted in story generation models as it provides powerful generative capability. However, it still fails to generate consistent stories and lacks diversity. Current story generation models leverage additional information such as plots or commonsense into GPT-2 to guide the generation process. These approaches focus on improving generation quality of stories while our work look at both quality and diversity. We explore combining BERT and GPT-2 to build a variational autoencoder (VAE), and extend it by adding additional objectives to learn global features such as story topic and discourse relations. Our evaluations show our enhanced VAE can provide better quality and diversity trade off, generate less repetitive story content and learn a more informative latent variable.

研究の動機と目的

• GPT-2の物語生成における限界、特に低多様性と物語の整合性の欠如を解消すること。
• グローバルな物語特徴を組み込むことで、VAEの潜在変数の情報性を向上させること。
• 物語のトピックと話法的品質を捉えるのを支援するマルチタスク学習の目的関数を探索すること。
• 物語生成タスクにおいて、GPT-2やヴァーチャルVAEを上回る品質-多様性トレードオフを達成するドメイン特化型VAEを開発すること。

提案手法

• ドメイン特化した物語データで事前学習されたBERTをエンコーダー、GPT-2をデコーダーとするVAEを構築する。
• 潜在変数が物語トピック分類とオリジナル対破損物語の識別を同時に最適化されるマルチタスク学習フレームワークを導入する。
• 一般的な生成エラーをシミュレートするためのネガティブサンプリング戦略を用い、話法的整合性を学習できるようにする。
• 複数のハイパーパramータ設定で、生成品質と多様性を評価するためにtop-pサンプリング（異なるp値を用いて）を適用する。
• 再構成損失、KLダイバージェンスに加え、2つの補助目的を組み合わせて潜在空間を正則化する。
• 物語データセットでVAEをファインチューニングし、負のコーパスBLEU、自己BLEU、話法的品質のためのROC AUCといった指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTとGPT-2から構築されたVAEは、標準的なGPT-2よりも物語生成のためのより情報豊かな潜在表現を学習できるか？
• RQ2 トピックモデリングと話法的品質のための補助目的を追加することで、物語生成における品質-多様性トレードオフが改善されるか？
• RQ3 潜在空間が局所的パターンではなく、トピックや整合性といったグローバルな物語特徴を効果的に捉えるように正則化できるか？
• RQ4 提案されたマルチタスクVAEは、異なるデータセットにおいてGPT-2やヴァーチャルVAEと比較して、生成品質と多様性の面で優れているか？

主な発見

• 図3のトレードオフ曲線から、強化されたVAE（VAE + t、VAE + d、VAE + td）は、全テストデータセットでGPT-2やヴァーチャルVAEよりも優れた品質-多様性トレードオフを達成した。
• トピックモデリング（VAE + t）と話法識別（VAE + d）の両方を備えたモデルは、ヴァーチャルVAEを上回った。特に、両方の目的を組み合わせたVAE + tdは、大多数のデータセットで最も優れた性能を示した。
• 話法識別ではAUCが0.75、トピック予測では0.25を達成し、グローバルな物語特徴の有効な学習が示された。
• 低p値（例：p=0.4）における4-gram繰り返しの自己BLEUスコアが、強化されたVAEで顕著に低く抑えられ、繰り返しの減少と多様性の向上が確認された。
• 高p値（例：p=1.0）では、GPT-2を含む全モデルが人間が書いた物語の自己BLEUスコア（0.021）に近づいたが、強化されたVAEは低p値でも高い品質を維持した。
• AEベースラインは低反復を示したが、物語の整合性に欠け、低自己BLEUが高品質を意味するわけではないことを確認した。これにより、本稿で提案されたVAEが品質と多様性のバランスを効果的に実現していることが示された。