[論文レビュー] Improving Question Generation With to the Point Context

Jingjing Li, Yifan Gao+3 more|arXiv (Cornell University)|Oct 14, 2019

Topic Modeling参考文献 29被引用数 6

ひとこと要約

本稿では、事実的正確性および関連性を向上させるために、非構造化文と構造化された回答関連関係を統合的に活用する質問生成モデルを提案する。構造化された関係を「的を射た」文脈として扱うことで、近接性に基づく符号化に依存するのを軽減し、特に遠く離れたまたは複雑な回答関連文脈において、自動評価指標で最先端の性能を達成した。

ABSTRACT

Question generation (QG) is the task of generating a question from a reference sentence and a specified answer within the sentence. A major challenge in QG is to identify answer-relevant context words to finish the declarative-to-interrogative sentence transformation. Existing sequence-to-sequence neural models achieve this goal by proximity-based answer position encoding under the intuition that neighboring words of answers are of high possibility to be answer-relevant. However, such intuition may not apply to all cases especially for sentences with complex answer-relevant relations. Consequently, the performance of these models drops sharply when the relative distance between the answer fragment and other non-stop sentence words that also appear in the ground truth question increases. To address this issue, we propose a method to jointly model the unstructured sentence and the structured answer-relevant relation (extracted from the sentence in advance) for question generation. Specifically, the structured answer-relevant relation acts as the to the point context and it thus naturally helps keep the generated question to the point, while the unstructured sentence provides the full information. Extensive experiments show that to the point context helps our question generation model achieve significant improvements on several automatic evaluation metrics. Furthermore, our model is capable of generating diverse questions for a sentence which conveys multiple relations of its answer fragment.

研究の動機と目的

• 質問生成における近接性に基づく回答に注意を向けるモデルの限界を解決する。特に、回答関連語が回答スパンから離れている場合に機能しないためである。
• 入力文から抽出した構造化された回答関連関係を組み込むことで、質問生成の忠実性と情報量を向上させる。
• 回答関連情報が局所的に近接していない場合でも、多様で文脈的に正確な質問を生成できるようにする。
• 構造化された関係が、質問生成における関連文脈を特定するための、語の近接性よりも信頼性の高いシグナルであることを示す。

提案手法

• モデルは、非構造化入力文と事前に処理によって抽出された構造化された回答関連関係を処理する二重エンコーダー構造を採用する。
• 構造化された関係は三つ組み（主語, 關係, 宮語）として表現され、回答に関連する核心的事実単位を捉える。
• ゲート付きファージョン機構により、非構造化文と構造化された関係からの表現を統合し、質問を生成する。
• モデルは位置に注意を向けるアテンションを採用し、文および構造化された関係の両方で関連語に注目する能力を学習する。
• 回答に注意を向ける学習には、回答位置を埋め込むためにBIOタギング方式を適用し、モデルが正しい回答スパンに注目するように保証する。
• フレームワークは1文あたり複数の関係をサポートし、異なる構造化された関係を選択することで多様な質問生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 回答関連語が回答から離れている場合でも、構造化された回答関連関係が質問生成のパフォーマンスを向上させるか？
• RQ2 構造化された関係を使用することで、複雑な文構造で失敗する近接性に基づく符号化への依存が軽減されるか？
• RQ3 1つの文から抽出した複数の異なる回答関連関係を活用することで、モデルは多様で事実的に正確な質問を生成できるか？
• RQ4 長距離文脈のシナリオにおいて、近接性に基づくベースラインと比較して、自動評価指標でどの程度のパフォーマンスを示すか？

主な発見

• BLEU、METEOR、ROUGE-Lの自動評価指標において、最先端の性能を達成し、近接性に基づくベースラインよりも顕著な改善を示した。
• 回答関連語が回答から10トークン以上離れている文では、近接性に基づくモデルの性能が最大36%低下するが、提案モデルは強い性能を維持した。
• 同じ文から抽出した複数の関係を用いて、異なる構造化された関係を選択することで、モデルが多様な質問を生成することを実証した。
• 「的を射た」文脈としての構造化された関係の使用により、括弧内句などを含む複雑な事実が入り組んだ文において、モデルの混乱が軽減された。
• Sunら（2018）のベースラインより平均9.58 BLEU-1ポイント高い性能を示し、特に長距離文脈において大きな向上を達成した。
• アブレーションスタディにより、非構造化文と構造化された関係の両方がパフォーマンスに顕著な貢献をしていることが確認され、特に遠く離れた文脈では構造化された関係が極めて重要であることが示された。