[論文レビュー] RikiNet: Reading Wikipedia Pages for Natural Question Answering

Dayiheng Liu, Yeyun Gong+6 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 27被引用数 14

ひとこと要約

RikiNetは、長大なWikipediaページを対象としたオープンドメイン質問応答のための新しい機械読解モデルであり、動的パラグラフデュアルアテンションリーダーと多段階の段階的答え予測器を導入し、短い答えのスパン、長い答えのパラグラフ、答えの種類を同時に予測する。長回答タスクで74.3 F1、短回答タスクで57.9 F1を達成し、Natural Questionsベンチマークで単一モデルとして初めて人間の単一パフォーマンスを超えた。

ABSTRACT

Reading long documents to answer open-domain questions remains challenging in natural language understanding. In this paper, we introduce a new model, called RikiNet, which reads Wikipedia pages for natural question answering. RikiNet contains a dynamic paragraph dual-attention reader and a multi-level cascaded answer predictor. The reader dynamically represents the document and question by utilizing a set of complementary attention mechanisms. The representations are then fed into the predictor to obtain the span of the short answer, the paragraph of the long answer, and the answer type in a cascaded manner. On the Natural Questions (NQ) dataset, a single RikiNet achieves 74.3 F1 and 57.9 F1 on long-answer and short-answer tasks. To our best knowledge, it is the first single model that outperforms the single human performance. Furthermore, an ensemble RikiNet obtains 76.1 F1 and 61.3 F1 on long-answer and short-answer tasks, achieving the best performance on the official NQ leaderboard

研究の動機と目的

• 長大なWikipediaページを用いたオープンドメイン質問応答の課題に対処すること。これは、短い文章よりもノイズが多く複雑であるためである。
• 長文の文脈と二重の答えの種類（短いスパンと長いパラグラフ）を有するため、既存のモデルが困難を抱えるNatural Questions（NQ）データセットのパフォーマンスを向上させること。
• 短い答え、長い答え、答えの種類を段階的に統合的に予測する統一モデルを設計し、推論力と一般化能力を向上させること。
• 短い答えと長い答えを別々に処理するか、外部の検索に依存する既存のモデルの制限を克服すること。
• 重いデータ拡張やアンサンブル技術に依存せずに、単一モデルで最先端のパフォーマンスを達成すること。

提案手法

• 動的パラグラフデュアルアテンション（DPDA）リーダーは、文書トークンとパラグラフレベルの表現を質問に適合させる反復的デュアルアテンション機構を用いる。
• 各パラグラフ内の重要なトークンに注目するため、動的アテンションマスキングを適用し、文脈に適した表現を強化し、関係のない内容からのノイズを低減する。
• 多段階の段階的答え予測器は、順序的かつ階層的な方法で、短い答えのスパン、長い答えのパラグラフ、答えの種類を同時に予測する。
• 答えの種類予測に質問埋め込みを補助的事前知識として用いることで、短い答えのない質問に対する一般化能力が向上する。
• 微調整されたワードピeceトークン化とReLUに類似した活性化関数（Tanh）を用いた密度付き出力ヘッドを持つ、BERTベースのバックボーンを採用する。
• アーキテクチャは、NQデータ上でエンドツーエンドに訓練され、スライディングウィンドウにより複数の文書スパンを生成し、Wikipediaページ全体をカバーする。

実験結果

リサーチクエスチョン

• RQ1 単一モデルが、短い答えのスパンと長い答えのパラグラフを同時に予測しながら、長大なWikipediaページを効果的に処理できるか？
• RQ2 答えの種類、短い答え、長い答えの段階的予測は、独立的または逐次的予測と比較して、パフォーマンスをどのように向上させるか？
• RQ3 重要なパラグラフトークンに注目する動的アテンション機構は、長文書における表現学習をどの程度向上させるか？
• RQ4 答えの種類予測に質問レベルの埋め込みを事前知識として組み込むことで、特に短い答えのない質問に対してモデルの頑健性が向上するか？
• RQ5 データ拡張やアンサンブル手法に依存せずに、単一モデルがNatural Questionsベンチマークで人間のパフォーマンスを超えることができるか？

主な発見

• RikiNetは、単一モデルで長回答タスクで74.3 F1、短回答タスクで57.9 F1を達成し、以前の最良単一モデル（66.8と53.9 F1）を上回り、単一人間のパフォーマンス（73.2と56.8 F1）をも超えた。
• RikiNetのアンサンブル版は、長回答タスクで76.1 F1、短回答タスクで61.3 F1を達成し、2019年11月29日時点で公式NQリーダーボードで最先端のパフォーマンスを達成した。
• アブレーションスタディの結果、多段階の段階的予測器とDPDAリーダーの両方がパフォーマンス向上に大きく寄与しており、非段階的ベースラインと比較して長回答タスクのF1が7ポイント以上向上した。
• 質問埋め込みを答えの種類予測から削除するとパフォーマンスが低下し、それが事前知識としての価値を裏付けた。
• 密度付き出力層をBi-LSTM、Transformer、またはGELU活性化層に置き換えても、僅かな改善にとどまり、現在の設計がほぼ最適であることを示した。
• 特に短い答えのない質問に対して、統合された答えの種類予測のおかげで、優れた一般化能力を示した。