[論文レビュー] Paraphrase Generation with Deep Reinforcement Learning

Zichao Li, Xin Jiang+2 more|arXiv (Cornell University)|Nov 1, 2017

Topic Modeling参考文献 65被引用数 23

ひとこと要約

この論文は、生成器-評価者アーキテクチャを用いた深層強化学習フレームワークを提案する。生成器は系列対系列学習により仮説を生成するが、評価者—教師あり学習または逆強化学習で訓練された—は意味的類似度報酬を提供し、生成器の微調整を行う。この手法は、自動評価および人間評価の両方において、最先端のモデルを大きく上回る仮説生成品質を実現する。

ABSTRACT

Automatic generation of paraphrases from a given sentence is an important yet challenging task in natural language processing (NLP), and plays a key role in a number of applications such as question answering, search, and dialogue. In this paper, we present a deep reinforcement learning approach to paraphrase generation. Specifically, we propose a new framework for the task, which consists of a extit{generator} and an extit{evaluator}, both of which are learned from data. The generator, built as a sequence-to-sequence learning model, can produce paraphrases given a sentence. The evaluator, constructed as a deep matching model, can judge whether two sentences are paraphrases of each other. The generator is first trained by deep learning and then further fine-tuned by reinforcement learning in which the reward is given by the evaluator. For the learning of the evaluator, we propose two methods based on supervised learning and inverse reinforcement learning respectively, depending on the type of available training data. Empirical study shows that the learned evaluator can guide the generator to produce more accurate paraphrases. Experimental results demonstrate the proposed models (the generators) outperform the state-of-the-art methods in paraphrase generation in both automatic evaluation and human evaluation.

研究の動機と目的

• ニューラル系列対系列モデルを用いて、高品質で意味的に正確な仮説を生成する課題に対処すること。
• 訓練中に意味的類似度を捉えることができない語彙ベースの評価指標（例：BLEU、ROUGE）の限界を克服すること。
• 強化学習における意味的報酬を提供できるトレーニング可能な評価者を開発すること。
• 並列データが限られている状況でも、並列データおよび非並列データの両方を活用して生成器を効果的に訓練できること。
• このフレームワークが、仮説生成を超えた他の系列対系列タスクへも一般化可能であることを示すこと。

提案手法

• 生成器は、アテンションおよびコピーメカニズムを備えた系列対系列モデルであり、並列仮説ペアを用いた交差エントロピー損失で事前学習される。
• 評価者とは、分解可能なアテンションメカニズムに基づく深層マッチングモデルであり、正例および負例ペアが利用可能な場合には教師あり学習で訓練される。
• 正例のみが利用可能な場合、生成器出力をエキスパートデモンストレーションとして用い、マックスマージン原理に基づく逆強化学習（IRL）により報酬関数を推定する。
• 生成器は、評価者の出力を密度的な意味的報酬信号として用いて、方策勾配強化学習によりさらに微調整される。
• エキスパートデモンストレーション（生成器出力）を扱い、意味的類似度を反映する報酬関数を学習するための新しい逆RLアルゴリズムが開発された。
• 非並列データを用いた訓練が可能であり、データ効率性およびモデルの頑健性が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層マッチングモデルに基づくトレーニング可能な評価者が、語彙ベースの指標よりも正確で意味的に根拠のある報酬を提供できるか？
• RQ2 正例のみが利用可能な状況で、生成器出力をデモンストレーションとして用いた逆強化学習は、評価者の訓練をどのように改善するか？
• RQ3 学習済み評価者による強化学習による微調整が、標準的な系列対系列学習と比較して、仮説生成品質にどの程度向上効果をもたらすか？
• RQ4 提案された生成器-評価者フレームワークは、仮説生成を超えた他の系列対系列タスクにも一般化可能か？
• RQ5 意味的正確性および流暢さの観点で、人間評価において、本モデルは最先端の手法と比較してどの程度の性能を示すか？

主な発見

• 提案手法は、Quora質問ペアおよびTwitter URL仮説生成データセットにおける自動評価（例：ROUGE、BLEU）および人間評価の両方において、既存のニューラルネットワークベースの手法を上回る性能を発揮した。
• 逆強化学習で訓練された評価者は、明示的な負例がなくても、仮説と非仮説を区別する能力が高く、優れた性能を示した。
• 評価者の報酬信号を用いた強化学習による微調整により、生成された仮説の意味的正確性が顕著に向上した。
• ベンチマークデータセットの両方で、本モデルは最先端の結果を達成し、生成器-評価者フレームワークの有効性を実証した。
• 並列学習データが限られている状況でも、非並列データを活用することで生成器の性能向上が可能であり、フレームワークの有効性が裏付けられた。
• アブレーションスタディにより、評価者と強化学習の組み合わせが性能向上に不可欠であることが確認され、単に教師あり学習または強化学習ベースの手法で訓練されたモデルよりも優れた性能を示した。