[論文レビュー] Multi-style Generative Reading Comprehension

Kyosuke Nishida, Itsumi Saito+5 more|arXiv (Cornell University)|Jan 8, 2019

Topic Modeling参考文献 62被引用数 12

ひとこと要約

本稿では、質問-本文ペアから同時に学習することで、条件付きポインタジェネレータデコーダーを用いて、答えのスタイル（例：完全な文、要約されたフレーズ）を多様に生成できる、マルチスタイル要約的読解モデル「Masque」を提案する。MS MARCO 2.1 および NarrativeQA において、スコアを更新する性能を達成しており、共有注意機構とスタイル条件付きデコーディングにより、スタイルに依存しない自然言語生成能力をターゲットスタイルに効果的に転送している。

ABSTRACT

This study tackles generative reading comprehension (RC), which consists of answering questions based on textual evidence and natural language generation (NLG). We propose a multi-style abstractive summarization model for question answering, called Masque. The proposed model has two key characteristics. First, unlike most studies on RC that have focused on extracting an answer span from the provided passages, our model instead focuses on generating a summary from the question and multiple passages. This serves to cover various answer styles required for real-world applications. Second, whereas previous studies built a specific model for each answer style because of the difficulty of acquiring one general model, our approach learns multi-style answers within a model to improve the NLG capability for all styles involved. This also enables our model to give an answer in the target style. Experiments show that our model achieves state-of-the-art performance on the Q&A task and the Q&A + NLG task of MS MARCO 2.1 and the summary task of NarrativeQA. We observe that the transfer of the style-independent NLG capability to the target style is the key to its success.

研究の動機と目的

• 生成的読解におけるスタイル多様性の欠如を是正し、単純なスパン抽出を超えた多様な答えのスタイルを生成できるモデルの開発。
• 個別のスタイルごとに別々のモデルを必要とせず、統合型モデルとして複数のスタイルで抽象的（アブストラクト）な答えを生成できる仕組みの構築。
• ターゲットスタイルに効果的に転送可能なスタイルに依存しない自然言語生成能力を学習することで、質問応答における自然言語生成の質を向上。
• 読解、本文順序付け、回答可能性分類のマルチタスク学習を統合し、理解力の向上を図る。

提案手法

• 質問-本文の読み込みに共通のエンコーダー・デコーダー構造を用い、統合的表現学習を実現するTransformerベースのアーキテクチャ。
• 動的混合を制御する条件付きポインタジェネレータデコーダーを採用し、語彙生成、質問からのコピーモード、複数の本文からのコピーモードの3つの分布の混合を制御。
• 各デコーディングステップで、スタイルごとに固有のトークンを挿入することで、生成分布とコピーモードの混合重みを調整するスタイル条件付きデコーダーを導入。
• 質問応答、本文順序付け、回答可能性分類の複数のタスクを統合した目的関数に基づき、エンドツーエンドで学習。
• コンテンツ選択は、複数の証拠ソースからの要約を効果的に行うために、統合注意機構を用いて本文レベルで実施。
• スタイル固有のレイヤーを導入せず、マルチスタイル学習を実現することで、共有されたNLG能力が複数のスタイル間で効果的に転送可能となる。

実験結果

リサーチクエスチョン

• RQ1 1つの生成モデルが、読解タスクにおいて、完全な文やフレーズなど多様な答えのスタイルを効果的に生成できるか。
• RQ2 統一モデル内で、スタイルに依存しない自然言語生成能力を学習し、特定のターゲットスタイルに効果的に転送する方法は何か。
• RQ3 読解、本文順序付け、回答可能性分類の共同学習が、全体の性能向上にどの程度寄与するか。
• RQ4 スタイル条件付きデコーディングを備えた条件付きポインタジェネレータ機構は、各スタイルごとに別々に学習するモデルや固定生成戦略を用いるモデルを上回る性能を発揮できるか。

主な発見

• Masque は、MS MARCO 2.1 の Q&A タスクおよび Q&A + NLG タスクにおいて、スパン抽出に依存する先行モデルを上回る最先端の性能を達成した。
• NarrativeQA の要約タスクにおいても、質問と本文を入力として与えた際の抽象的要約能力が顕著に優れており、最先端の結果を達成した。
• スタイルに依存しないNLG能力がターゲットスタイルに効果的に転送されることが、本モデルの成功の鍵要因であると特定された。
• スタイル条件付き混合制御を備えた条件付きポインタジェネレータデコーダーにより、各スタイルごとに別々のレイヤーを必要とせず、効果的なスタイル制御が可能となった。
• モデルの性能は多様な答えのスタイルにわたり安定しており、共有表現学習が一般化性能を向上させることを示した。
• 本文順序付けと回答可能性分類を統合したマルチタスク学習により、読解モジュール全体のロバスト性と正確性が向上した。