[論文レビュー] Querent Intent in Multi-Sentence Questions

Laurie Burchell, Jie Chi+3 more|arXiv (Cornell University)|Oct 18, 2020

Topic Modeling参考文献 19被引用数 4

ひとこと要約

本稿では、話者の意図に基づき、5つの対話的関係タイプ（分離可能、同義的、選言的、条件的、対比的）に分類することで、複文質問（MSQ）における質問者意図を同定する新しいフレームワークを提示する。Stack Exchangeから抽出した162,745件のMSQを対象とした大規模データセットを用い、表面的対比特徴に基づく高精度なルールベース分類器を開発したが、82.9%の精度にとどまる一方で再現率は26.5%にとどまり、現実世界のMSQにおいて暗黙的関係が広く存在することを示している。

ABSTRACT

Multi-sentence questions (MSQs) are sequences of questions connected by relations which, unlike sequences of standalone questions, need to be answered as a unit. Following Rhetorical Structure Theory (RST), we recognise that different "question discourse relations" between the subparts of MSQs reflect different speaker intents, and consequently elicit different answering strategies. Correctly identifying these relations is therefore a crucial step in automatically answering MSQs. We identify five different types of MSQs in English, and define five novel relations to describe them. We extract over 162,000 MSQs from Stack Exchange to enable future research. Finally, we implement a high-precision baseline classifier based on surface features.

研究の動機と目的

• 自然言語では一般的であるが、質問応答システムにおいては未だ十分に調査がなされていない複文質問（MSQ）に関する研究の空白を埋める。
• 質問者の意図する回答戦略を反映する、裏付けとなる対話的関係に基づき、MSQを5つの明確なタイプに分類する。
• 今後の研究を支援するため、Stack Exchangeから抽出した162,745件のMSQからなる大規模で多様性に富み、公開可能なデータセットを構築する。
• 表面的特徴を用いてMSQに明示的な対話的関係を同定するベースライン分類器を開発する。
• 現在のQAシステムがMSQを独立した質問として扱うと、回答戦略が一致しないため失敗することを示す。

提案手法

• 著者らは、修辞的構造理論（RST）に基づき、5つのMSQタイプを定義し、それぞれが異なる質問者意図と回答戦略に対応する。
• クエリベースのデータ収集手法を用い、93のStack Exchangeサイトから162,745件の2文質問MSQを抽出し、句読点、長さ、言語などをフィルタリングした。
• 対話的マークャー、標点、質問構造の有無などの二値対比特徴を用いて、5つのMSQタイプを区別するルールベース分類器を構築した。
• 各MSQタイプに固有の特徴マスクを割り当て、必要な特徴、禁止される特徴、無視される特徴を明確にすることで、互いに排他的な分類を保証した。
• 相互アノテーター整合性を確認した手動アノテーション済みテストセット（271件）を用い、精度と再現率を指標として分類器を評価した。
• 本システムは、複雑さと曖昧さのため、暗黙的関係は除外し、明示的に信号が与えられた関係に限定して処理する。

実験結果

リサーチクエスチョン

• RQ1 複文質問における質問者意図は、対話的関係に基づき、どのように体系的に分類可能か？
• RQ2 現実世界のユーザークエリにおいて、最も一般的な複文質問のタイプは何か？
• RQ3 表面的言語的特徴は、意図に基づくカテゴリにMSQを信頼性高く分類できるか？
• RQ4 ルールベース分類器の性能は、人間のアノテーションと比較してどの程度か？
• RQ5 MSQはどの程度暗黙的に信号が与えられており、それが自動分類にどのように影響するか？

主な発見

• アノテート済みテストセットにおいて、分類器は82.9%の精度を達成し、特に明示的に信号が与えられたMSQタイプを信頼性高く同定できることを示した。
• 再現率は26.5%にとどまり、実データにおける大多数のMSQが暗黙的であることが示され、表面的特徴のみで分類することが困難であることを示している。
• 選言的および条件的MSQは、よく「または」や「もし」などの明確な対話的マークャーを含むため、最もよく明示的に信号が与えられていた。
• 分離可能なMSQは、最も頻出するタイプであるが、分類器による検出は低かったため、構造的に主に暗黙的であることが示された。
• アノテーションプロセスから、多くのMSQが複数の意図を含む、あるいは情報的コンテンツのない儀式的質問を含むことが判明し、分類を複雑にした。
• 162,745件のMSQからなるデータセットは公開されており、今後のMSQ理解および応答に関する研究にとって貴重なリソースを提供している。