[論文レビュー] Improving Conditional Sequence Generative Adversarial Networks by Stepwise Evaluation

Yi-Lin Tuan, Hung-yi Lee|arXiv (Cornell University)|Aug 16, 2018

Topic Modeling参考文献 30被引用数 7

ひとこと要約

本稿では、生成段階ごとに段階的報酬を割り当てる修正済みディスクリミネータを用いることで、計算コストの高いモンテカルロ木探索（MCTS）の必要性を排除し、訓練の安定性と効率を向上させる、新しい条件付きシーケンス GAN である StepGAN を提案する。StepGAN は MCTS と同等の性能を達成しつつもはるかに高速であり、合成および実世界の対話タスクの両方で、より多様で一般的な応答が少ない応答を生成する点で、従来の手法である SeqGAN や REGS を上回る性能を発揮する。

ABSTRACT

Sequence generative adversarial networks (SeqGAN) have been used to improve conditional sequence generation tasks, for example, chit-chat dialogue generation. To stabilize the training of SeqGAN, Monte Carlo tree search (MCTS) or reward at every generation step (REGS) is used to evaluate the goodness of a generated subsequence. MCTS is computationally intensive, but the performance of REGS is worse than MCTS. In this paper, we propose stepwise GAN (StepGAN), in which the discriminator is modified to automatically assign scores quantifying the goodness of each subsequence at every generation step. StepGAN has significantly less computational costs than MCTS. We demonstrate that StepGAN outperforms previous GAN-based methods on both synthetic experiment and chit-chat dialogue generation.

研究の動機と目的

• GAN における報酬の疎らさに起因する強化学習ベースのシーケンス生成の不安定性と非効率性を解消すること。
• SeqGAN が段階的評価に用いるモンテカルロ木探索（MCTS）の高い計算コストを克服すること。
• MCTS や REGS の代替として、より効率的かつ効果的な手法を開発し、高品質な応答生成を維持すること。
• 学習済みディスクリミネータによる段階的評価が、条件付きシーケンス生成における敵対的訓練をより効果的に活用できるかどうかを検証すること。
• 本手法の有効性を合成タスクおよび実世界のチャット対話生成タスクの両方で示すこと。

提案手法

• 生成段階ごとに部分シーケンスごとに状態行動価値（即時の報酬）を出力するようにディスクリミネータを変更し、方策勾配を用いたエンドツーエンド訓練を可能にする。
• ディスクリミネータは各段階で実際のシーケンスと生成されたシーケンスを区別するように学習され、生成プロセス全体にわたり密度があり情報豊富な報酬を提供する。
• 生成器は段階的ディスクリミネータからの報酬を用いて方策勾配で最適化され、露出バイアスが軽減され、より良い探索が可能になる。
• 木探索を回避するために、ディスクリミネータから直接価値関数を学習するため、MCTS よりも顕著に推論時間を短縮できる。
• 生成器を段階的ディスクリミネータからの期待報酬を最大化するように訓練することで、シーケンス生成タスクに本手法を適用する。
• フレームワークは強化学習を用いてエンドツーエンドで訓練され、正確な段階的フィードバックを提供するようにディスクリミネータを更新する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロ木探索に依存せずに、正確な段階的報酬を提供できるようにディスクリミネータを学習できるか。
• RQ2 学習済みディスクリミネータによる段階的評価は、MCTS や REGS と比較して訓練効率および応答品質においてどのように異なるか。
• RQ3 StepGAN は最大尤度推定で見られる一般的な応答への傾向を軽減できるか。
• RQ4 既存の GAN ベース手法と比較して、StepGAN は前方および後方の KL 散乱をより効果的にバランスさせられるか。
• RQ5 本手法は対話生成を越えて、他の条件付きシーケンス生成タスクにも一般化可能か。

主な発見

• StepGAN は MCTS よりも計算効率に優れ、対話生成タスクでは最大で 5 倍速く、合成タスクでは 2 倍速い。
• MLE や SeqGAN、REGS よりも一般的な応答が少なく、学習データと一致する応答の割合が最も低く、創造性が高いことが示された。
• 合成タスクでは、他の手法と比較して前方および後方の KL 散乱がよりバランスが取れており、分布の整合性が優れていることが示された。
• 対話生成タスクでは、人間評価および例示出力から、より質の高い応答を生成し、一貫性と多様性に優れていることが確認された。
• StepGAN は MCTS と同等の性能を達成しつつも、顕著に計算コストを低減しており、大規模な訓練に適している。
• 露出バイアスの軽減と応答品質の向上に有効であり、特に冗長的でない、文脈に適切な応答の生成において顕著な効果を示した。