[論文レビュー] Natural Question Generation with Reinforcement Learning Based Graph-to-Sequence Model

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Oct 19, 2019

Topic Modeling参考文献 43被引用数 13

ひとこと要約

本稿では、質問生成のための強化学習ベースのグラフからシーケンスへのモデルを提案する。このモデルは、文書構造を符号化するために双方向ゲート付きグラフニューラルネットワーク（BiGGNN）を活用し、回答情報を統合するために深層アライメントネットワークを用いる。モデルは交差エントロピーと強化学習を組み合わせたハイブリッド損失関数を用いて構文的・意味的質を向上させ、SQuADデータセットにおいて先行手法を著しく上回る最先端の性能を達成する。

ABSTRACT

Natural question generation (QG) aims to generate questions from a passage and an answer. In this paper, we propose a novel reinforcement learning (RL) based graph-to-sequence (Graph2Seq) model for QG. Our model consists of a Graph2Seq generator where a novel Bidirectional Gated Graph Neural Network is proposed to embed the passage, and a hybrid evaluator with a mixed objective combining both cross-entropy and RL losses to ensure the generation of syntactically and semantically valid text. The proposed model outperforms previous state-of-the-art methods by a large margin on the SQuAD dataset.

研究の動機と目的

• 質問生成におけるシーケンス・ツー・シーケンスモデルの限界、例えば露出バイアスや構造モデリングの欠如を解消すること。
• 深層アライメントネットワークを用いて、文書・回答・それらのグローバルな相互作用を統合的にモデリングすることで、質問の質を向上させること。
• 交差エントロピーと強化学習のハイブリッドトレーニング目的関数を用いて、構文的・意味的正しさを向上させること。
• 順序付き依存関係を超えたより豊かなテキスト構造を捉えるために、グラフベースの符号化を活用すること。
• 自動評価および人間評価の両指標において、SQuADベンチマークで最先端の性能を達成すること。

提案手法

• 双方向ゲート付きグラフニューラルネットワーク（BiGGNN）を用いて、グラフ表現における入力および出力エッジ情報を捉えることで、文書を符号化する。
• 深層アライメントネットワーク（DAN）は、GloVe、BERT、および文法的特徴のアテンションベースの統合を用いて、語レベルおよび隠れ状態レベルでのソフトアライメントを文書と回答の埋め込み間で行う。
• 最終的な文書表現は、RNNベースのデコーダーに供給され、シーケンス・ツー・シーケンスの方法で質問を生成する。
• ハイブリッド評価器は、監視用の交差エントロピー損失と自動評価指標を最適化するための強化学習損失の組み合わせで訓練される。
• モデルはエンド・ツー・エンドで学習可能であり、人間評価の報酬に基づいてREINFORCEアルゴリズムを用いてRL目的関数を最適化する。
• BLEU-4、ROUGE、および構文・意味・関連性に関する人間評価を用いて、SQuADデータセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 構造的符号化を用いたグラフからシーケンスへのモデルは、標準的なシーケンス・ツー・シーケンスモデルを上回る性能を発揮するか？
• RQ2 深層アライメントネットワークは、回答情報を文書表現に統合して質問の関連性を向上させるのにどの程度効果的か？
• RQ3 交差エントロピー損失と強化学習損失を組み合わせることで、生成された質問の構文的・意味的質はどの程度向上するか？
• RQ4 双方向グラフ符号化を組み込むことで、文書内の長距離依存関係およびグローバル相互作用のモデリングが向上するか？
• RQ5 自動評価および人間評価の両指標において、提案手法は最先端の手法と比較してどの程度優れているか？

主な発見

• 提案モデルはSQuADスプリット-2テストセットでBLEU-4スコア18.30を達成し、強力なベースラインMPQG+R（17.49）を著しく上回った。
• 人間評価では、構文的正しさが4.41、意味的正しさが4.31、関連性が3.79を記録し、それぞれの正解水準（4.74、4.74、4.25）に近づいた。
• アブレーションスタディの結果、深層アライメントネットワークを削除すると性能が著しく低下し、BLEU-4が12.58にまで低下した。これは、このモジュールが回答統合において極めて重要な役割を果たしていることを示している。
• BiGGNNコンponentは顕著な貢献を示しており、これを削除して標準的なSeq2Seqモデルに置き換えると、BLEU-4は16.14にまで低下した。
• BERT埋め込みと強化学習の使用により、結果がさらに向上し、フルモデル（G2S sta + BERT + RL）が最高のBLEU-4および人間評価スコアを達成した。
• 事例スタディでは、モデルがベースラインよりもより完全で関連性が高く、文法的に正しい質問を生成していることが確認された。特に、回答情報が適切にアライメントされている場合に顕著であった。