[論文レビュー] WIQA: A dataset for "What if..." reasoning over procedural text

Niket Tandon, Bhavana Dalvi Mishra+3 more|arXiv (Cornell University)|Sep 10, 2019

Topic Modeling参考文献 14被引用数 9

ひとこと要約

WIQAは、手続き的テキストから抽出された40,700件の複数選択式「もし〜なら」質問から構成される大規模データセットを提供し、影響チェーン上の反事後的推論をテストすることを目的としている。このデータセットは、クラウドソーシングで作成された影響グラフに基づいて構築されており、最先端のモデルがたった73.8%の正確性にとどまっていることが判明した—これは人間の性能（96.3%）から22.5ポイントも低い。これは、間接的かつ段落外の摂動に対する推論における顕著な課題を示している。

ABSTRACT

We introduce WIQA, the first large-scale dataset of "What if..." questions over procedural text. WIQA contains three parts: a collection of paragraphs each describing a process, e.g., beach erosion; a set of crowdsourced influence graphs for each paragraph, describing how one change affects another; and a large (40k) collection of "What if...?" multiple-choice questions derived from the graphs. For example, given a paragraph about beach erosion, would stormy weather result in more or less erosion (or have no effect)? The task is to answer the questions, given their associated paragraph. WIQA contains three kinds of questions: perturbations to steps mentioned in the paragraph; external (out-of-paragraph) perturbations requiring commonsense knowledge; and irrelevant (no effect) perturbations. We find that state-of-the-art models achieve 73.8% accuracy, well below the human performance of 96.3%. We analyze the challenges, in particular tracking chains of influences, and present the dataset as an open challenge to the community.

研究の動機と目的

• 手続き的テキストにおける反事後的推論を評価するための大規模データセットの不足に応えること。特に、摂動の影響を予測する能力を対象とする。
• 直接的効果だけでなく、間接的（マルチホップ）および段落外の影響チェーンもテストするベンチマークを構築すること。
• 既存のNLPモデルの整合性、常識的推論、および段落間の因果的依存関係の追跡における限界を露呈させることで、モデルの課題を提示すること。
• 影響グラフと意味的現象（例：定性的言語、語彙的変異）を扱う推論に関する研究を支援するリソースを提供すること。

提案手法

• クラウドワーカーが379件の手続き的段落について影響グラフ（IG）を生成し、エンティティや出来事の変化間の正の（+）または負の（−）影響を表現した。
• 各影響グラフは、有向かつ重みなしのグラフであり、ノードは摂動（段落内または段落外）を、エッジは因果の極性を表す。
• IG内のパスに基づいて複数選択式の質問を生成した。テンプレートは「変化Xは変化Yを引き起こすか？」であり、選択肢は（A）正しい、（B）逆転、（C）効果なし。
• 摂動は段落内（テキスト内）、段落外（常識を要する）、無関係（効果なし）に分類され、推論の広範性をテストした。
• モデルは影響グラフにアクセスせずに、段落のみを入力として正しい答えを予測する能力が評価された。
• 論理的整合性を評価するため、一貫性指標（推移性と非結合的整合性）が、影響チェーン全体にわたるモデル予測の整合性を評価するために用いられた。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルは、影響が間接的であるか、段落外の知識を要する場合でも、手続き的テキストにおける摂動の結果を正確に予測できるか？
• RQ2 常識的推論を要する質問と、テキストに直接根ざした質問とでは、モデルの性能にどのような差が生じるか？
• RQ3 マルチホップの影響チェーンにわたる推論において、モデルはどの程度論理的整合性を保っているか？
• RQ4 質的言語、否定、語彙的変異といった言語的・意味的現象の中で、現在のモデルが最も困難に感じるのはどれか？

主な発見

• 最も性能の高かったBERTベースのモデルは、WIQAデータセットで73.8%の正確性を達成したが、人間の96.3%に比べて顕著に低い。
• 間接的効果（2ホップおよび3ホップのチェーン）では性能が著しく低下しており、マルチホップ推論が依然として大きな課題であることが示された。
• モデルの予測は一貫性が低く、推移性および非結合的整合性スコアは人間の水準に大幅に及ばず、推論における論理的整合性の欠如が示された。
• 約65%の変化文が定性的言語（例：「より多く」「より冷たく」「より小さく」）を用いており、45%は段落外の常識的知識を必要としていた。これは難易度を高めた。
• 語彙的変異（例：「蜂」を「昆虫」と置き換え）は15%、否定（例：「発生しない」）は6%の変化に見られ、質問とテキストとの一致を複雑にした。
• このデータセットは、現在のモデルが因果チェーンを追跡する能力や、グローバルな一貫性制約を適用する能力に顕著なギャップを示しており、より洗練された推論アーキテクチャの開発が急務であることを示唆している。