[論文レビュー] Using Natural Language Relations between Answer Choices for Machine Comprehension

Rajkumar Pujari, Dan Goldwasser|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 25被引用数 4

ひとこと要約

この論文は、答えの選択肢間の自然言語帰納（NLI）関係——帰納や矛盾など——を活用することで、機械理解の性能を向上させる手法を提案する。スタンドアロンのQAシステム、NLIモデル、ILPに基づく推論フレームワークを用い、答えの選択肢を共同で再評価することで、MultiRCおよびSemEval-2018タスク11で最先端の結果を達成した。自己学習データを用いた場合、MultiRCにおけるEM0スコアは21.62%に達した。

ABSTRACT

When evaluating an answer choice for Reading Comprehension task, other answer choices available for the question and the answers of related questions about the same paragraph often provide valuable information. In this paper, we propose a method to leverage the natural language relations between the answer choices, such as entailment and contradiction, to improve the performance of machine comprehension. We use a stand-alone question answering (QA) system to perform QA task and a Natural Language Inference (NLI) system to identify the relations between the choice pairs. Then we perform inference using an Integer Linear Programming (ILP)-based relational framework to re-evaluate the decisions made by the standalone QA system in light of the relations identified by the NLI system. We also propose a multitask learning model that learns both the tasks jointly.

研究の動機と目的

• 答えの選択肢間における実用的整合性をモデル化することで、機械理解の性能を向上させること。
• 各選択肢を個別に評価するスタンドアロンのQAシステムの限界——選択肢間の関係性を無視すること——を是正すること。
• 答えの選択肢間の自然言語帰納（帰納、矛盾、中立）が、推論および予測精度を向上させることを検証すること。
• QAとNLIタスクを統合する共同学習フレームワークを開発し、一般化性能の向上を図ること。
• 自己学習がNLIモデルの関係検出性能向上に与える影響を調査すること。

提案手法

• スタンドアロンの質問応答（QA）システムが、各答えの選択肢に対して初期の真偽ラベルと信頼度スコアを割り当てる。
• 別個の自然言語帰納（NLI）システムが、各質問のすべての順序付き選択肢ペア間で関係（帰納、矛盾、中立）を分類する。
• 整数線形プログラミング（ILP）に基づく関係的推論フレームワークが、NLI関係を用いてQA予測を再評価し、論理的整合性を強制する。
• QAとNLIコンponentsを一緒に学習する共同マルチタスクモデルが、表現を共有することで両タスクの性能を向上させる。
• MultiRCデータセットからの予測を用いて、NLIモデルに自己学習を適用し、関係検出性能を向上させる。
• フレームワークは、QAおよびNLIシステムからの信頼度スコアをILP最適化プロセスの入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 答えの選択肢間の自然言語帰納関係をモデル化することで、機械理解の性能が向上するか？
• RQ2 NLI関係を用いたILPベースの推論は、答えの選択肢間の整合性をどの程度効果的に強制できるか？
• RQ3 QAとNLIコンponentsを共同で学習させることは、個別学習よりも優れた性能をもたらすか？
• RQ4 MultiRCデータセットを用いた自己学習は、答えの選択肢ペアの関係検出にどの程度寄与するか？
• RQ5 厳密な帰納／矛盾を超えた、暗黙的または文脈依存的な関係は、さらに理解性能を向上させ得るか？

主な発見

• 自己学習されたNLIモデルを用いた場合、MultiRCデータセットにおけるEM0は、スタンドアロンQAの18.15%から21.62%に向上した。
• 共同モデルは、MultiRCでEM0 20.36%、EM1 57.08%を達成し、スタンドアロンQAおよび他のベースラインを上回った。
• SemEval-2018タスク11データセットでは、開発セットで85.4%、テストセットで82.1%の精度を達成し、スタンドアロンのTriAN-singleモデルを上回った。
• マクネマーのカイ二乗検定により、改善が統計的に有意であることが確認された。
• NLIモデルの性能は、高頻度の語彙的重複と否定語の影響により制限されており、特に帰納検出に悪影響を及えた。
• MultiRCデータセットを用いた自己学習により、帰納でも矛盾でもない関係が答えの選択肢に存在することが判明し、より広範な意味的関係のモデル化の余地があることが示唆された。