[論文レビュー] LIREx: Augmenting Language Inference with Relevant Explanation

Xinyan Zhao, V. G. Vinod Vydiswaran|arXiv (Cornell University)|Dec 16, 2020

Topic Modeling参考文献 20被引用数 13

ひとこと要約

LIRExは、自然言語推論における妥当な説明の選別を可能にするフレームワークを提案する。説明生成とインスタンス選別器を統合することで、関連性があり妥当な説明のみをフィルタリングし、SNLIで91.87%の精度を達成。これは最先端の性能に相当し、微調整なしにMultiNLIの出域データでも先行手法を上回る。

ABSTRACT

Natural language explanations (NLEs) are a special form of data annotation in which annotators identify rationales (most significant text tokens) when assigning labels to data instances, and write out explanations for the labels in natural language based on the rationales. NLEs have been shown to capture human reasoning better, but not as beneficial for natural language inference (NLI). In this paper, we analyze two primary flaws in the way NLEs are currently used to train explanation generators for language inference tasks. We find that the explanation generators do not take into account the variability inherent in human explanation of labels, and that the current explanation generation models generate spurious explanations. To overcome these limitations, we propose a novel framework, LIREx, that incorporates both a rationale-enabled explanation generator and an instance selector to select only relevant, plausible NLEs to augment NLI models. When evaluated on the standardized SNLI data set, LIREx achieved an accuracy of 91.87%, an improvement of 0.32 over the baseline and matching the best-reported performance on the data set. It also achieves significantly better performance than previous studies when transferred to the out-of-domain MultiNLI data set. Qualitative analysis shows that LIREx generates flexible, faithful, and relevant NLEs that allow the model to be more robust to spurious explanations. The code is available at https://github.com/zhaoxy92/LIREx.

研究の動機と目的

• 人間の推論のばらつきを考慮しない既存のNLEベースのNLIモデルの限界を是正し、誤った説明を生成することを防ぐ。
• NLI学習に高品質で関連性のある説明のみを組み込むことで、モデルの頑健性と信頼性を向上させる。
• 生成された説明を人間がアノテートした根拠と一致させることで、NLIの解釈可能性と性能を向上させる。
• 根拠に基づいた説明生成が、人間の推論とより良い一致を示し、出域データにおけるモデルの一般化性能を向上させることを示す。

提案手法

• 各前提-仮説ペアに対して、特定の予測された根拠（キーテキストトークン）に基づいた説明を生成する根拠対応型説明生成器を開発する。
• 一貫性と根拠・ラベルとの整合性に基づき、説得力のないまたは誤った説明をフィルタリングするインスタンス選別器を導入する。
• 前提-仮説ペアに加え、選別された高品質な自然言語説明を文脈的入力として使用してNLIモデルを訓練する。
• 二段階のプロセスを採用する：第一段階で根拠を予測し、複数の候補説明を生成する。第二段階で、関連性スコアリング機構を用いて最も関連性があり妥当な説明のみを選別する。
• RoBERTaなどの事前学習言語モデルを、説明生成とNLI推論の両方のタスクに活用し、SNLIおよびMultiNLIで微調整を行う。
• 説明の信頼性を評価するため、説明を削除した際の性能低下（包括性）や、説明を単独で使用した際の性能低下（十分性）を測定し、モデルが説明に依存していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 標準的な説明生成と比較して、根拠に基づいた説明生成はNLIモデルの性能と頑健性を向上させることができるか？
• RQ2 現在のNLEベースのNLIモデルは、性能を低下させる誤った説明をどれほど多く生成しているのか？
• RQ3 根拠対応型説明生成器は、人間がアノテートした根拠とどれほど一致し、人間の推論と整合性のある説明を生成できるか？
• RQ4 インスタンス選別器による誤った説明のフィルタリングは、MultiNLIのような出域NLIベンチマークでの一般化性能を向上させるか？
• RQ5 関連性があり信頼性のある説明を含めることで、精度を損なわずにモデルの解釈可能性を向上させることができるか？

主な発見

• LIRExはSNLI開発セットで91.87%の精度を達成し、ベースラインより0.32ポイント向上し、ベンチマークで報告された最高性能に一致する。
• 出域のMultiNLIテストセットでは、微調整なしに先行手法を顕著に上回り、優れたゼロショット一般化性能を示している。
• 手動評価では、LIRExはMNLI-MおよびMNLI-Misで予測された根拠に対して95%の関連性を持つ説明を生成したのに対し、NILEは84%にとどまり、人間の推論との一致が優れていることが示された。
• 信頼性分析により、モデルが予測に前提-仮説ペアと説明の両方に依存していることが確認され、説明を削除すると顕著な性能低下が生じた。
• インスタンス選別器が常識的推論に反する低品質な説明をフィルタリングできることから、誤った説明に対してモデルが頑健であることが裏付けられた。
• 関連性評価では、アノテーター間の一致度が0.95に達し、説明品質を評価するための人的判断プロトコルの信頼性が検証された。