[論文レビュー] Multi-Task Learning for Conversational Question Answering over a Large-Scale Knowledge Base

Tao Shen, Xiubo Geng+6 more|arXiv (Cornell University)|Oct 11, 2019

Topic Modeling参考文献 41被引用数 5

ひとこと要約

本稿では、大規模知識ベース上の会話型質問応答のためのマルチタスク学習フレームワークを提案する。ポインタを備えた意味解析器とタイプに配慮したエンティティ検出を共同で訓練することで、誤り伝搬を低減し、監視情報の共有を向上させる。このアプローチにより、1280万エンティティを含む160万件のサンプルからなるデータセット上でF1スコアが67%から79%に向上し、先行する最先端手法を顕著に上回る。

ABSTRACT

We consider the problem of conversational question answering over a large-scale knowledge base. To handle huge entity vocabulary of a large-scale knowledge base, recent neural semantic parsing based approaches usually decompose the task into several subtasks and then solve them sequentially, which leads to following issues: 1) errors in earlier subtasks will be propagated and negatively affect downstream ones; and 2) each subtask cannot naturally share supervision signals with others. To tackle these issues, we propose an innovative multi-task learning framework where a pointer-equipped semantic parsing model is designed to resolve coreference in conversations, and naturally empower joint learning with a novel type-aware entity detection model. The proposed framework thus enables shared supervisions and alleviates the effect of error propagation. Experiments on a large-scale conversational question answering dataset containing 1.6M question answering pairs over 12.8M entities show that the proposed framework improves overall F1 score from 67% to 79% compared with previous state-of-the-art work.

研究の動機と目的

• 大規模KB-QAのための順次的ニューラル意味解析パイプラインにおける誤り伝搬を解消すること。
• エンティティ検出や論理形式生成などのサブタスク間で監視情報を共有することを可能にすること。
• 検出プロセスにタイプ予測を統合することで、エンティティリンクにおける曖昧さを低減すること。
• ポインタネットを用いてコアファレンス解決と論理形式生成を共同で最適化すること。
• 大規模な会話型データセットにおける全体的なKB-QAパフォーマンスを向上させること。

提案手法

• ポインタを備えた意味解析器は、論理形式内のエンティティを質問文におけるその発話の開始位置に置き換えることで、会話内のコアファレンスを自然にモデル化する。
• このモデルはエンティティ検出の系列ラベル付けタスクと共同で訓練され、監視情報の共有と誤りの低減を実現する。
• タイプに配慮したエンティティ検出モジュールは、発話とともにエンティティタイプも予測し、推論時にリンク候補をフィルタリングするために使用される。
• このフレームワークは、エンティティ発話検出、タイプ予測、論理形式生成を1つのマルチタスク学習アーキテクチャに統合する。
• エンティティ検出とタイプ分類の共同予測空間は、文脈情報を活用してリンク精度を向上させる。
• トレーニング中にゴールの論理形式を探索するBFSベースの探索により、不適切な論理形式を低減する。

実験結果

リサーチクエスチョン

• RQ1 エンティティ検出と論理形式生成の共同学習は、大規模KB-QAにおける誤り伝搬を低減できるか？
• RQ2 検出プロセスにエンティティタイプ予測を組み込むことで、エンティティリンクの正確性はどのように向上するか？
• RQ3 ポインタベースの意味解析器は、複数ターン会話におけるコアファレンス解決をどの程度効果的にモデル化できるか？
• RQ4 サブタスク間で監視情報を共有することで、全体的なKB-QAパフォーマンスが向上するか？
• RQ5 本稿で提案するフレームワークは、数百万エンティティを含む大規模KBに対してどの程度効果的か？

主な発見

• 提案されたマルチタスクフレームワークは、160万件のQAペアを含む大規模な会話型QAデータセット上で、全体のF1スコアを67%から79%に向上させた。
• ポインタベースの意味解析とエンティティ検出の共同訓練により、サブタスク間での誤り伝搬が顕著に低減された。
• タイプに配慮したエンティティ検出により、誤ったタイプを持つエンティティをフィルタリングすることで、エンティティの曖昧さに起因する誤りが低減された。
• ポインタネットは、入力質問文における発話位置を参照することで、会話内のコアファレンスを効果的にモデル化した。
• 1280万エンティティを含む大規模KBにおいても、強力な一般化性能を示し、先行する最先端手法を上回った。
• 複数のサブタスク間で共有される監視信号を効果的に活用することで、より高いロバスト性と正確性が達成された。