[論文レビュー] Answering Complicated Question Intents Expressed in Decomposed Question Sequences

Mohit Iyyer, Wen-tau Yih+1 more|arXiv (Cornell University)|Nov 4, 2016

Topic Modeling参考文献 13被引用数 8

ひとこと要約

この論文は、Wikipediaの表に関する自然な複数回の会話形式の質問をモデル化するため、6,066件の相互に関連した単純な質問から成る新しいデータセットSQAを紹介している。コアフレンスや意味的不一致に対処するため、表の再書き換えと参照解決戦略を提案しているが、現在のシステムが主に質問と表の内容の間の意味的マッチングエラーによって困難に直面していることが判明したのではなく、コアフレンス解決の問題によるものではない。

ABSTRACT

Recent work in semantic parsing for question answering has focused on long and complicated questions, many of which would seem unnatural if asked in a normal conversation between two humans. In an effort to explore a conversational QA setting, we present a more realistic task: answering sequences of simple but inter-related questions. We collect a dataset of 6,066 question sequences that inquire about semi-structured tables from Wikipedia, with 17,553 question-answer pairs in total. Existing QA systems face two major problems when evaluated on our dataset: (1) handling questions that contain coreferences to previous questions or answers, and (2) matching words or phrases in a question to corresponding entries in the associated table. We conclude by proposing strategies to handle both of these issues.

研究の動機と目的

• 単一の質問応答の限界を克服し、より自然な複数回の会話形式の対話的相互作用をモデル化すること。
• 既存の意味解析器が、独立した複雑なクエリではなく、相互に関連した質問の連続に対してどのように動作するかを調査すること。
• 現在のQAシステムが順次的で文脈依存的な質問応答に適用された際の主な失敗モードを同定すること。
• 表の再書き換えと参照解決戦略が順次的QAのパフォーマンス向上にどの程度効果的かを評価すること。
• 順次的QAにおけるエラーの根本的原因、特に質問のテキストと表のエントリとの間の意味的不一致を分析すること。

提案手法

• WikiTableQuestionsデータセットからの複雑な質問を分解して、クラウドソーシングワーカーから6,066件の質問連続を収集した。
• 各質問をWikipediaのHTML表内の正確な表セルに固定し、回答の根拠を明確にした。
• 5つの表の再書き換えポリシーを提案した：一切再書き換えしない、常に再書き換えする、行／部分を再書き換えする、参照に基づく再書き換え、および真値回答を用いた上限性能。
• 意味解析器（fp）を用いて開発セットでこれらの再書き換えポリシーの影響を評価し、正確性とオラクル性能を測定した。
• 失敗モードを分類するために、70件の開発セットの質問について手動でのエラー分析を実施し、コアフレンスエラーと意味的マッチングの問題を区別した。
• 意味的不一致—特に質問の表現と表セルのテキストとの間の違い—が主なエラー要因であることが判明した。コアフレンス解決の問題ではない。

実験結果

リサーチクエスチョン

• RQ1 既存の意味解析器は、会話形式のQA設定において、相互に関連した単純な質問の連続を効果的に処理できるか？
• RQ2 質問と回答の間のコアフレンスが、順次的QAにおける意味解析器のパフォーマンスにどのように影響するか？
• RQ3 表の再書き換え戦略は、順次的質問応答における正確性をどの程度向上させられるか？
• RQ4 半構造化された表に適用された順次的QAシステムにおける主なエラー要因は何か？
• RQ5 質問のテキストと表の内容との間の意味的不一致が、コアフレンスエラーと比較して、解析器のパフォーマンスにどの程度影響を与えるか？

主な発見

• 既存のQAシステムはSQAデータセットで低いパフォーマンスを示しており、再書き換えを適用しない場合、開発セットでのベースライン正確性はたったの27.7％にとどまる。
• 予測された回答に基づく表の再書き換えはわずかな向上しか得られず（例：参照に基づく再書き換えでは29.2％の正確性）、誤った以前の予測からエラーが伝播していることが示された。
• 真値回答を用いた再書き換えによる上限性能は37.0％の正確性に達しており、コアフレンスとマッチングエラーが解消されれば10％の絶対的向上が可能であることが示された。
• 手動で分析した70件のエラーのうち、たった15件がコアフレンス解決の失敗によるものであり、コアフレンスが主な課題ではないことが示された。
• 大多数のエラーは、質問の表現と表の内容との間の意味的不一致に起因しており、たとえば「highway」と「road」のような用語の違いや、世界知識の欠如が原因である。
• 答えが正確な表セルの一致であるため、正規化の問題は回避されたが、パフォーマンスは依然として低く、意味的マッチング問題の深刻さが浮き彫りになった。