[論文レビュー] Multi-Task Learning with Language Modeling for Question Generation

Wenjie Zhou, Minghua Zhang+1 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 25被引用数 6

ひとこと要約

本論文は、言語モデルを補助タスクとして統合することで、回答に依存する質問生成の質を向上させる階層的マルチタスク学習フレームワークを提案する。質問生成と言語モデル化を同時に学習させることで、エンコーダーはより豊かな文脈表現を学習し、よりなめらかで一貫性のある質問が生成される。この手法は最先端の結果を達成し、SQuADではBLEU-4スコア16.23、MARCOでは20.88を記録しており、人的評価でも裏付けられている。

ABSTRACT

This paper explores the task of answer-aware questions generation. Based on the attention-based pointer generator model, we propose to incorporate an auxiliary task of language modeling to help question generation in a hierarchical multi-task learning structure. Our joint-learning model enables the encoder to learn a better representation of the input sequence, which will guide the decoder to generate more coherent and fluent questions. On both SQuAD and MARCO datasets, our multi-task learning model boosts the performance, achieving state-of-the-art results. Moreover, human evaluation further proves the high quality of our generated questions.

研究の動機と目的

• マルチタスク学習を活用することで、回答に依存する質問生成の質を向上させること。
• 既存のニューラル質問生成モデルが示すなめらかさと一貫性の欠如という限界を是正すること。
• 補助タスクとしての言語モデル化が、質問生成における表現学習を向上させるかどうかを調査すること。
• 異なるデータセットおよび特徴設定において、モデルの頑健性と一般化性能を評価すること。

提案手法

• モデルは、質問生成に加えて言語モデル化を補助タスクとする階層的マルチタスク学習構造を採用する。
• エンコーダーは、単語埋め込み、回答位置埋め込み、および語彙的特徴（品詞、固有表現認識、キャメルケース）を入力として使用する双向LSTMを採用する。
• デコーダーは強化学習を用いたアテンションベースのポインタジェネレータネットワークと語彙的特徴を組み合わせ、質問を生成する。
• 言語モデル化は、入力系列の直前および直後の単語を予測するように訓練され、エンコーダーの表現を豊かにする。
• 統合モデルは両タスク間でエンコーダーを共有しており、言語モデル化から質問生成への知識移転を可能にする。
• 2つの損失関数（質問生成損失と言語モデル化損失）の重み付き組み合わせを用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 補助タスクとしての言語モデル化を統合することで、回答に依存する質問生成における生成質問の質が向上するか？
• RQ2 言語モデル化と質問生成の共同学習が、なめらかさ、関連性、文法的正しさにどのように影響するか？
• RQ3 提案手法は異なるデータセットに一般化可能であり、語彙的特徴が利用不可な状況でも有効であるか？
• RQ4 補助タスクとしての言語モデル化が、エンコーダーにおける表現学習をどの程度向上させるか？

主な発見

• 提案されたマルチタスク学習モデルは、SQuADでBLEU-4スコア16.23、MARCOで20.88を達成し、すべての先行最先端手法を上回った。
• 言語モデル化と特徴を組み合わせたモデルは、SQuADでベースライン比1.34のBLEU-4スコア向上、MARCOでは1.73の向上を達成した。
• 語彙的特徴が存在しない状況でも、言語モデル化補助タスクが性能向上をもたらしており、頑健性と一般化性能が確認された。
• 人的評価では顕著な向上が確認された：SQuADでは一致度（1.147 vs. 0.983）、なめらかさ（1.690 vs. 1.573）、関連性（1.600 vs. 1.540）スコアが向上し、MARCOでも同様の改善が得られた。
• パープレキシティとディストィンクトスコアは、言語モデル化が生成質問のなめらかさと多様性を向上させることを裏付けた。
• アブレーションスタディの結果、性能向上は単に追加のエンコーダー層を追加するのとは異なり、マルチタスク学習に起因することが判明した。深層ネットワーク単体では結果に改善が見られなかった。