[論文レビュー] ELI5: Long Form Question Answering

Angela Fan, Yacine Jernite+4 more|arXiv (Cornell University)|Jul 22, 2019

Topic Modeling参考文献 25被引用数 14

ひとこと要約

本論文では、27万件のRedditスレッドから構成される大規模データセットELI5を紹介する。このデータセットは、複雑なオープンエンドド質問に対して、複数文にわたる要約的説明を生成する長文形式の質問応答を目的としている。モデルは、言語モデリング、マスキング語予測、回答生成の3つのタスクを同時に学習するマルチタスク学習アプローチを採用し、最先端の性能を達成したが、人的評価ではゴールドスタンダードの回答が86％の割合で好まれており、長文の文脈理解と生成の分野におけるさらなる改善の余地が明確に示された。

ABSTRACT

We introduce the first large-scale corpus for long-form question answering, a task requiring elaborate and in-depth answers to open-ended questions. The dataset comprises 270K threads from the Reddit forum ``Explain Like I'm Five'' (ELI5) where an online community provides answers to questions which are comprehensible by five year olds. Compared to existing datasets, ELI5 comprises diverse questions requiring multi-sentence answers. We provide a large set of web documents to help answer the question. Automatic and human evaluations show that an abstractive model trained with a multi-task objective outperforms conventional Seq2Seq, language modeling, as well as a strong extractive baseline. However, our best model is still far from human performance since raters prefer gold responses in over 86% of cases, leaving ample opportunity for future improvement.

研究の動機と目的

• 複数文にわたる要約的応答を必要とする長文形式のオープンエンドド質問応答のための大規模データセットの不足に対処すること。
• 長く多様なウェブドキュメントから情報を検索・統合し、包括的な回答を生成する際の課題を調査すること。
• 長文QAの要約的生成を向上させるためのマルチタスク学習フレームワークの開発および評価すること。
• 抽出型、リtrievalベース、生成型モデルの性能を、長文の文脈理解と長文出力生成に焦点を当ててベンチマークすること。

提案手法

• ELI5データセットは、Redditの「Explain Like I'm Five」フォーラムに掲載された27万件のスレッドから構成され、ユーザーが複雑な質問に対して簡潔で段落長の回答を提供している。
• 各例には質問、サポートドキュメント（平均して約1070語）、およびゴールドスタンダードの長文回答（平均130.6語）が含まれる。
• マルチタスク学習の目的関数を提案し、同じデータを用いて言語モデリング、マスキング語予測、回答生成の3つのタスクを同時に学習する単一のSeq2Seqモデルを訓練する。
• モデルのアーキテクチャは、トランスフォーマーに基づくエンコーダ・デコーダフレームワークに準拠し、マルチタスク目的関数にエンドツーエンドで微調整することで、一般化性能と要約的生成の質を向上させる。
• 評価には自動指標（ROUGE）と人的アノテーションを用い、レーティング担当者がゴールドスタンダードの回答をモデル出力よりも86％の割合で好んだ。
• ベースラインモデルには、標準的なSeq2Seq、言語モデリング、およびBidAFを用いた強力な抽出型ベースライン（複数文出力に拡張）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 標準的なSeq2Seqや言語モデリングベースラインと比較して、マルチタスク学習アプローチは要約的長文QAの性能を向上させることができるか？
• RQ2 既存の抽出型およびリtrievalベースのモデルは、長文で複数文にわたる回答生成にどの程度一般化できるか？
• RQ3 最先端のニューラルモデルと人的に書かれた回答との間には、長文QAでどの程度の性能ギャップが存在するか？
• RQ4 モデルの性能は、長く複数ドキュメントにわたる入力の理解能力と、一貫性があり包括的な回答を生成する能力にどの程度制限されているか？
• RQ5 ROUGEのような自動指標は、長文回答の質を評価する際に人的判断とどの程度相関しているか？

主な発見

• マルチタスク学習アプローチは、自動指標（ROUGE）および人的評価の両方において、従来のSeq2Seqや言語モデリングベースラインを顕著に上回った。
• 最も優れたモデルですら、人的レーティング担当者が好む回答を生成できたのは14％のケースにとどまり、人的性能との大きなギャップが示された。
• 人的評価では、ゴールドスタンダードの回答がモデル出力よりも86％の割合で好まれており、このタスクの難易度と今後の改善の必要性が明確に示された。
• モデルの性能は、長く複数ドキュメントにわたる入力を理解し、一貫性があり包括的な長文応答を生成する能力に強く制限されている。
• ROUGEスコアは人的判断と相関しているが、回答の質を完全に捉えるには不十分であり、より洗練された評価プロトコルの必要性が浮き彫りになった。
• ELI5データセットは、長文の文脈理解と要約的生成に関する研究を可能にし、オープンエンドで複数文にわたる質問応答分野における今後の研究のベンチマークを提供する。