[論文レビュー] RobustLR: Evaluating Robustness to Logical Perturbation in Deductive Reasoning

Soumya Sanyal, Zeyi Liao+1 more|arXiv (Cornell University)|May 25, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文では、言語モデルの演繹的推論タスクにおける論理的頑健性を評価する診断ベンチマークであるRobustLRを紹介する。合成された理論-文のペアに対して、論理的変更（論理積、論理和、特に否定の変更）を最小限に加えることで、RoBERTa や T5、GPT-3 といったモデルが、特に否定に関して一貫した一般化に失敗していることが明らかになった。これは、推論データセットで微調整されたにもかかわらず、真の論理的理解が欠けていることを示唆している。

ABSTRACT

Transformers have been shown to be able to perform deductive reasoning on a logical rulebase containing rules and statements written in English natural language. While the progress is promising, it is currently unclear if these models indeed perform logical reasoning by understanding the underlying logical semantics in the language. To this end, we propose RobustLR, a suite of evaluation datasets that evaluate the robustness of these models to minimal logical edits in rulebases and some standard logical equivalence conditions. In our experiments with RoBERTa and T5, we find that the models trained in prior works do not perform consistently on the different perturbations in RobustLR, thus showing that the models are not robust to the proposed logical perturbations. Further, we find that the models find it especially hard to learn logical negation and disjunction operators. Overall, using our evaluation sets, we demonstrate some shortcomings of the deductive reasoning-based language models, which can eventually help towards designing better models for logical reasoning over natural language. All the datasets and code base have been made publicly available.

研究の動機と目的

• 言語モデルが演繹的推論において論理演算子を真正に理解しているのか、それとも偶然の相関に依存しているのかを調査すること。
• 入力文や規則に対する最小限の論理的編集に耐える頑健性をテストする診断ベンチマークを開発すること。
• 形式論理的同値性に基づく論理的パラフレーズにおいて、モデルが一貫して一般化できるかを評価すること。
• 特に論理的否定や演算子の意味論に関して、体系的な推論の失敗を特定すること。
• 今後のより論理的に頑健な推論モデルの開発を支援するための公開ベンチマークを提供すること。

提案手法

• 診断ベンチマークであるRobustLRを設計し、2つの評価セット（論理的対比と論理的同値性）を含む。
• 論理的対比セットは、規則（例：「and」を「or」に置き換え、または否定を追加）に最小限の論理的摂動を加えることで構築するが、意味は保持する。
• 論理的同値性セットは、形式論理的同値性（例：ド・モーガンの法則）を用いて、同一の真偽条件を持つパラフレーズされた規則を生成する。
• RoBERTa、T5、GPT-3 を既存の演繹的推論データセットで微調整した後、RobustLRのテストセットで評価する。
• 評価時に「Unknown」の予測を除外し、明確に含意されているか、矛盾している文のみのパフォーマンスを隔離する。
• モデルのRobustLRにおけるパフォーマンスを、分布内データと人的パフォーマンスと比較し、頑健性のギャップを測定する。

実験結果

リサーチクエスチョン

• RQ1 演繹的推論データセットで微調整された言語モデルは、入力規則や文における最小限の論理的摂動に対して、頑健に一般化できるか？
• RQ2 形式論理的同値性を用いて表面構造を変更したが真偽条件を保持する論理的パラフレーズでは、モデルのパフォーマンスはいかがなっているか？
• RQ3 トレーニングデータ内の誤った統計的相関が、言語モデルの非頑健な推論行動にどの程度寄与しているか？
• RQ4 なぜモデルは論理的否定において特に困難を示すのか、論理積や論理和よりも？
• RQ5 RobustLRにおけるモデルと人間のパフォーマンスギャップは、データの誤った相関に起因するのか、それとも論理的意味の学習におけるモデルの本質的限界に起因するのか？

主な発見

• 演繹的推論データセットで微調整されたモデルは、RobustLRの論理的対比セットおよび論理的同値性セットで顕著なパフォーマンス低下を示し、論理的摂動に対して頑健性に欠けていることが明らかになった。
• 「Unknown」の予測を除外しても、分布内データと分布外（摂動あり）データの間のパフォーマンスギャップは約15％のまま残り、データの疎らさを超えた本質的学習限界を示唆している。
• モデルは論理的否定において特に困難を示し、論理的意味が保持されていても、否定形の間での一般化に常に失敗している。
• T5-11Bのような大規模モデルはパフォーマンスが向上するが、依然として人的精度に達しないことから、スケールそのものが論理的頑健性の問題を解決しないことが示された。
• 誤った相関に起因するものではないことが判明し、ラベル分布を均一にし、統計的バイアスを最小限にしても、パフォーマンスギャップが依然として残っている。
• RobustLRは、現在の言語モデルが論理的推論において体系的な一般化に欠けていることを明らかにした。特に、否定や同値変換といった複雑な論理演算に関して顕著である。