[論文レビュー] Can NLI Models Verify QA Systems' Predictions?

Jifan Chen, Eunsol Choi+1 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling参考文献 59被引用数 4

ひとこと要約

本稿では、質問・回答（QA）インスタンスを質問変換および文脈非依存化を用いて前提・仮説ペアに変換することで、自然言語推論（NLI）モデルを活用してQAシステムの予測の正しさを検証する、新しいフレームワークを提案する。このアプローチにより、QAモデルの信頼性の高いキャリブレーションが向上し、誤った理由で正解が得られているケースの特定も可能となり、選択的予測設定において最大5.5 F1ポイントの向上が達成された。

ABSTRACT

To build robust question answering systems, we need the ability to verify whether answers to questions are truly correct, not just "good enough" in the context of imperfect QA datasets. We explore the use of natural language inference (NLI) as a way to achieve this goal, as NLI inherently requires the premise (document context) to contain all necessary information to support the hypothesis (proposed answer to the question). We leverage large pre-trained models and recent prior datasets to construct powerful question converter and decontextualization modules, which can reformulate QA instances as premise-hypothesis pairs with very high reliability. Then, by combining standard NLI datasets with NLI examples automatically derived from QA training data, we can train NLI models to judge the correctness of QA models' proposed answers. We show that our NLI approach can generally improve the confidence estimation of a QA model across different domains, evaluated in a selective QA setting. Careful manual analysis over the predictions of our NLI model shows that it can further identify cases where the QA model produces the right answer for the wrong reason, or where the answer cannot be verified as addressing all aspects of the question.

研究の動機と目的

• 分布シフトや誤ったパターンに起因して、しばしば妥当に見えるが誤った答えを出力するQAシステムの頑健性の欠如に対処すること。
• NLIを検証メカニズムとして用いることで、正しい推論と誤った推論を区別することができる、QAモデルの信頼性の高いキャリブレーションを向上させること。
• NLIベースの検証が、文脈が不十分または不適切な状況で正解を得るQAモデルのケースを検出できるかどうかを調査すること。
• 混合データセット（自動生成されたQA由来のNLI例を含む）で訓練されたNLIモデルが、ドメイン外QA一般化においてどの程度適合するかを評価すること。
• NLIの含意基準を用いて、質問と支援文脈の間の情報不一致を分離することで、明示的なエラー分析を可能にすること。

提案手法

• 質問・文脈・回答の三つ組みを、質問変換と文脈非依存化の二段階パイプラインを用いて、(前提, 仮説) NLIペアに変換する。
• 仮説の質を向上させるために、質問を宣言文に変換することを目的とした、微調整済みの強力な事前学習済みT5モデルを採用する。
• 文脈からの回答文を、文書の支援なしに独立して成り立つように再書き直すために、文脈非依存化モデルを適用する。
• 標準NLIデータセット（例：SNLI, MNLI）と、QA学習データから自動生成されたNLIペアを組み合わせることで、大規模なNLIデータセットを構築する。
• 前提と仮説の間の含意、矛盾、中立の関係を予測するように、組み合わせたデータセット上でNLIモデルを訓練する。
• 訓練済みのNLIモデルを検証者として活用し、特に低信頼度またはドメイン外の状況において、ベースQAモデルの予測を再ランク付けまたは再キャリブレーションする。

実験結果

リサーチクエスチョン

• RQ1 NLIモデルが、回答が支援文脈によって論理的に含意されているかどうかを評価することで、QAシステムの予測を効果的に検証できるか？
• RQ2 QA由来のNLI例を組み込むことで、ドメイン外QAデータセットにおけるNLIベース検証の一般化性能とキャリブレーションがどの程度向上するか？
• RQ3 NLIモデルの含意判断は、文脈が不完全な場合に、実際に質問が求める情報とどの程度整合するか？
• RQ4 NLI検証パイプラインの失敗モードは、元のQAモデルの誤りとどのように異なるか？
• RQ5 NLI検証フレームワークは、誤ったまたは部分的な推論に基づいて正解を導いたケースを検出できるか？

主な発見

• NLIベースの検証フレームワークにより、ベースQAモデルのF1スコアが、トップ20％の最も信頼度の高い予測において81.6から87.1に向上した。
• 文脈非依存化と質問変換モジュールがパイプライン性能において極めて重要であり、これらの段階での誤りは全体のNLIモデルの誤りのわずかに過ぎない。
• 検証失敗の約10％から15％が、情報が不足していることによるものであり、キーアイテムが欠落している場合にモデルが誤って判断する傾向があることが示された。
• 手動分析により、NLIモデルが、前提に完全な情報が欠落している場合に、QAモデルが誤った理由で正解を導いているケースを効果的に同定していることが判明した。
• 標準NLIデータセットと自動生成されたQA由来NLI例の併用により、ドメイン内QAデータに依存する場合よりも、より頑健で一般化性能の高い検証者が得られた。
• このアプローチにより、有効な推論に基づく正解と、部分的または誤った証拠に基づく正解を区別できる明示的なエラー局所化が可能になった。