[論文レビュー] Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering

Peng Li, Wei Li+5 more|arXiv (Cornell University)|Jul 21, 2016

Topic Modeling参考文献 32被引用数 68

ひとこと要約

本稿では、42,000件を超える質問と556,000件の証拠文書を有する大規模な現実世界のfactoid QAデータセットWebQAを紹介し、CRFを用いてQAをシーケンスラベル付けタスクとして定式化するエンド・ツー・エンドのニューラル再帰的シーケンスラベル付けモデルを提案する。モデルは語ベース入力で74.69%、文字ベース入力で70.97%のF1スコアを達成し、高価なソフトマックス計算や事前に定義された答え候補を必要とせずに、堅牢で効果的な性能を示している。

ABSTRACT

While question answering (QA) with neural network, i.e. neural QA, has achieved promising results in recent years, lacking of large scale real-word QA dataset is still a challenge for developing and evaluating neural QA system. To alleviate this problem, we propose a large scale human annotated real-world QA dataset WebQA with more than 42k questions and 556k evidences. As existing neural QA methods resolve QA either as sequence generation or classification/ranking problem, they face challenges of expensive softmax computation, unseen answers handling or separate candidate answer generation component. In this work, we cast neural QA as a sequence labeling problem and propose an end-to-end sequence labeling model, which overcomes all the above challenges. Experimental results on WebQA show that our model outperforms the baselines significantly with an F1 score of 74.69% with word-based input, and the performance drops only 3.72 F1 points with more challenging character-based input.

研究の動機と目的

• エンド・ツー・エンドのニューラルQAシステムの学習および評価に適した大規模で現実世界のQAデータセットの不足に対処する。
• シーケンス生成（高価なソフトマックス計算を要する）や分類／ランク付け（事前に定義された候補を必要とするか、別個の生成部を要する）に依存する既存のニューラルQA手法の限界を克服する。
• 計算コストが低く抑えられ、未知語に対しても対応可能で、エンド・ツー・エンドの学習を可能にする、答え生成のための新しい設計選択肢を提供する。
• 1つの質問に対して複数の人がアノテートした証拠を提供することで、証拠ランク付けおよび答え文選択に関する研究を可能にする。

提案手法

• オープンドメインのfactoid QAを、取得した証拠文書内の答えのスパンの開始位置と終了位置を予測するシーケンスラベル付け問題として定式化する。
• ラベルの依存関係をモデル化し、スパン境界の予測精度を向上させるために条件付き確率場（CRF）層を用いる。
• 質問および証拠文書の両方の文脈的表現を捉えるために、双方向LSTMエンコーダーを採用する。
• 関連する語を動的に重みづけるために、一度の時間ステップでのアテンション機構を用いて質問と証拠の表現を計算する。
• 手動による特徴工学を回避するため、ニューラル特徴（例：語埋め込み、q-e.comm、e-e.comm）をCRFと共同学習で統合する。
• レア語や未知語に対しても堅牢性を高めるために、語ベースおよび文字ベースの入力を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 シーケンスラベル付けアプローチは、従来のシーケンス生成および分類ベースの手法に比べ、オープンドメインfactoid QAで優れた性能を発揮できるか？
• RQ2 CRFを組み込んだエンド・ツー・エンドのニューラルシーケンスラベル付けモデルは、ソフトマックスに基づく生成と比較して、未知語の処理および計算コストの低減においてどの程度有効か？
• RQ3 事前学習済みの固定語埋め込みは、学習可能な埋め込みと比較して、QA設定において一般化性能をどの程度向上させるか？
• RQ4 文字ベース入力ではモデルの性能はどの程度で、語ベース入力と比較して堅牢性および正確性の観点からどの程度差が生じるか？
• RQ5 質問と証拠の相互作用特徴（例：q-e.comm）は、シーケンスラベル付けモデル全体の性能にどの程度寄与しているか？

主な発見

• 提案されたシーケンスラベル付けモデルは、語ベース入力でWebQAデータセット上で74.69%のF1スコアを達成し、ベースライン手法を顕著に上回る性能を示した。
• 文字ベース入力でも高い性能を維持し、F1スコアは70.97%を達成し、語ベースバージョンと比較してわずか3.72ポイントの低下に抑えられ、未知語への対応力の高さを示した。
• 固定された事前学習済み語埋め込み（例：言語モデルから得たもの）は、学習可能な埋め込みと比較して、一般化性能が向上し、過学習が抑制される。これは、パラメータ数の増加と弱いインダクティブバイアスによる性能低下を避けるためである。
• q-e.comm特徴（語が質問および証拠の両方に出現するかどうかを示す）は非常に有効であり、モデルが答えでないトークンを特定するのを助け、性能向上に顕著な寄与をした。
• 質問表現に用いた一度の時間ステップでのアテンション機構は、最大値プーリングや平均プーリングよりも優れた結果をもたらし、柔軟で選択的なアテンションが関連する質問特徴を捕捉するのに有効であることを示した。
• クロスレイヤー接続を備えた深く広いLSTM構造は性能を向上させ、証拠文書内の長距離依存関係をモデル化することが、答えスパン検出に有益であることを示した。