[論文レビュー] Logic-Guided Data Augmentation and Regularization for Consistent Question Answering

Akari Asai, Hannaneh Hajishirzi|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本論文は、比較型の質問に対して、質問応答モデルの精度とグローバルな一貫性を向上させるために、論理誘導型データ拡張と一貫性に基づく正則化フレームワークを提案する。シンボリック論理ルールをニューラルモデルと統合することで、意味的に一貫したトレーニングデータを生成し、トレーニング中に論理的制約を強制する。WIQAおよびQuaRelでは4.7–8.4%の絶対的精度向上を達成し、SOTAを更新し、HotpotQAでは一貫性違反を58%削減した。これは、ラベル付きデータの20%のみを用いても達成された。

ABSTRACT

Many natural language questions require qualitative, quantitative or logical comparisons between two entities or events. This paper addresses the problem of improving the accuracy and consistency of responses to comparison questions by integrating logic rules and neural models. Our method leverages logical and linguistic knowledge to augment labeled training data and then uses a consistency-based regularizer to train the model. Improving the global consistency of predictions, our approach achieves large improvements over previous methods in a variety of question answering (QA) tasks including multiple-choice qualitative reasoning, cause-effect reasoning, and extractive machine reading comprehension. In particular, our method significantly improves the performance of RoBERTa-based models by 1-5% across datasets. We advance the state of the art by around 5-8% on WIQA and QuaRel and reduce consistency violations by 58% on HotpotQA. We further demonstrate that our approach can learn effectively from limited data.

研究の動機と目的

• 神経質問応答モデルにおける予測の一貫性の欠如という課題に取り組むこと、特に論理的推論を要する比較型の質問に対して。
• データ拡張とトレーニングにシンボリック知識を統合することで、低データ環境下でもモデルの汎化性能と耐性を向上させること。
• 既存のQAデータセットにおける統計的アーティファクトやアノテーションバイアスへの依存を減らすために、正則化による論理的一貫性の強制。
• 定性的・因果的・抽出型推論を要する多様なQAベンチマークでSOTA性能を達成すること。

提案手法

• 一階論理ルール（特に対称性および推移性の一貫性）を活用し、データ拡張によって論理的に一貫した追加のトレーニング例を生成する。
• WordNetに基づく言い換えを適用することで言語的多様性を確保しながらも、論理的構造を維持し、拡張された例が意味的に妥当であることを保証する。
• 対称性および推移性の論理的ルールに違反するモデル予測に対してペナルティを与える一貫性に基づく正則化損失を導入する。
• モデルに依存しないフレームワークを採用し、論理誘導型データ拡張と微分可能な正則化を組み合わせ、さまざまなQAフォーマットに適用可能にする。
• 標準的なクロスエントロピー損失と論理的一致性の欠如に対するペナルティ項を組み合わせた共同トレーニング目的関数を採用し、グローバルに一貫した予測を促進する。
• 分類、複数選択、スパン抽出タスクを含む複数のQAフォーマットを、各タスクの構造に合わせた論理ルールに適応することでサポートする。

実験結果

リサーチクエスチョン

• RQ1 論理誘導型データ拡張は、比較型の質問に対して神経質問応答モデルの精度と一貫性を向上させることができるか？
• RQ2 一貫性に基づく正則化は、多様なQAデータセットにおいて予測の一貫性を低下させるのにどの程度効果的か？
• RQ3 この手法は、ラベル付きデータの20%のみを用いた低リソース環境でも、性能をどの程度向上させることができるか？
• RQ4 シンボリック論理を統合することで、訓練データ内の誤った統計的パターンへのモデルの依存度は低下するか？
• RQ5 提案手法は、因果的推論、定性的比較、抽出型読解理解を含む、さまざまなQAタスクフォーマットに一般化可能か？

主な発見

• RoBERTaベースラインに対してQuaRelで5.0%の絶対的精度向上を達成し、SOTAを8.4%向上させた。
• WIQAでは、前回のSOTAを4.7%上回る精度を達成し、HotpotQAでは一貫性違反が58%削減された。
• ラベル付きデータの20%のみを用いても、完全なデータセットでトレーニングされたRoBERTaベースラインと同等の性能を達成した。これは、優れたデータ効率性を示している。
• データ拡張と正則化の組み合わせが最良のパフォーマンスを発揮し、どちらか一方を用いるよりも優れた結果を出した。
• WIQAでは、対称的一致性違反を13.9%から8.3%に、推移的一致性違反を10.0%から2.5%に削減し、論理的整合性の向上を確認した。
• 定性的な分析から、モデルは逆転した答え選択肢をよりよく区別し、特に曖昧なケースにおいて正解に対する信頼度を高めたことがわかった。