[論文レビュー] Assessing and Enhancing the Robustness of Large Language Models with Task Structure Variations for Logical Reasoning

Qiming Bao, G. Gendron+6 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、選択肢のシャッフルと正解の「他の選択肢がすべて誤りである」に置き換えによるタスク構造の摂動を施すことにより、拡張された論理的推論データセット3つ—ReClor-plus、LogiQA-plus、LogiQAv2-plus—を提案する。元のデータセットでは高い性能を示すが、GPT-3.5 や GPT-4 などの大規模言語モデル（LLM）は、これらの変種では顕著な性能低下を示し、脆弱性が明らかになった。本研究では、指示微調整と論理駆動型データ拡張が、特に高い摂動比を伴う大規模な訓練データセット（10,000件以上）において、汎化性能と耐性を顕著に向上させることを示した。

ABSTRACT

Large language models (LLMs), such as LLaMA, Alpaca, Vicuna, GPT-3.5 and GPT-4, have advanced the performance of AI systems on various natural language processing tasks to human-like levels. However, their generalisation and robustness when performing logical reasoning has not been sufficiently assessed. To comprehensively evaluate this ability, we develop three new logical reasoning datasets named "ReClor-plus", "LogiQA-plus" and "LogiQAv2-plus" that extend standard logical reasoning datasets to evaluate the robustness of the LLM's reasoning. For each, we create three subsets: the first with randomly shuffled options, the second with the correct choices replaced by "none of the other options is correct", and the third with a combination of shuffling and substitution. Experiments on these datasets show that these simple augmentations greatly hinder the models' performance. Despite their high performance on the original publicly available datasets, we find that all models perform poorly on these newly constructed datasets. We also demonstrate that introducing task variations into the training set can markedly improve the model's performance on both the original and our developed datasets. Finally, we show that applying logic-driven data augmentation for fine-tuning and prompting can enhance generalisation in both discriminative and generative models, offering a path to improving their robustness for tasks involving logical reasoning. Source code and data are made publicly available at https://github.com/Strong-AI-Lab/Logical-and-abstract-reasoning.

研究の動機と目的

• 構造的摂動にさらされた論理的推論タスクにおける大規模言語モデル（LLM）の汎化性と耐性を調査すること。
• 既存の論理的推論データセットにおける記憶化や過学習のリスクを軽減するため、タスク構造の変化を導入すること。
• 指示微調整、プロンプト技術、データ拡張が、推論タスクにおける分布シフトに対してLLMの耐性を高められるかどうかを評価すること。
• 訓練データサイズと摂動比が、生成型および識別型LLMの汎化性能に与える影響を検討すること。
• モデルサイズ（例：LLaMA-7B から LLaMA-65B）が、ゼロショット評価下での推論耐性に相関するかどうかを特定すること。

提案手法

• 著者らは、2つの摂動を適用することで、ReClor-plus、LogiQA-plus、LogiQAv2-plusの3つの新しいデータセットを構築した。その2つは、選択肢のランダムなシャッフルと、正解の「他の選択肢がすべて誤りである」への置き換えである。
• 各データセットには、元のフォーマット、シャッフル済み選択肢、正解置換の3つのサブセットが含まれており、モデルの耐性を体系的に評価できる。
• 実験は、識別型（例：LReasoner、MERIt）および生成型（例：GPT-3.5、GPT-4、LLaMA、Alpaca、Vicuna）LLMを対象とし、ゼロショットおよび微調整設定の両方で実施された。
• 論理駆動型データ拡張は、指示微調整の過程で適用され、推論の汎化性能を向上させた。さらに、プロンプト技術を用いることで性能が向上した。
• 訓練データにおける摂動比（5% から 50%）を変化させ、分布外構造への汎化性能を評価した。
• モデルサイズの比較は、LLaMAモデル（7B から 65B パラメータ）をゼロショット評価で用い、スケーラビリティへの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 選択肢のシャッフルや正解の置き換えといった構造的変化に直面した場合、大規模言語モデルは論理的推論タスクにおいて耐性のある汎化を示すか？
• RQ2 指示微調整と論理駆動型データ拡張は、分布外推論タスクにおける識別型および生成型LLMの耐性と汎化性能を向上させられるか？
• RQ3 訓練データサイズは、論理的推論のためのデータ摂動の効果に影響を及ぼすか？
• RQ4 LLaMA-7B から LLaMA-65B までのモデルサイズと、ゼロショット評価下での摂動付き論理的推論タスクでの性能に顕著な相関があるか？
• RQ5 プロンプト技術のみが、微調整やデータ拡張戦略と比較して、論理的推論における耐性をどの程度向上させるか？

主な発見

• GPT-3.5 や GPT-4 は元の論理的推論データセットでは高い性能を示すが、「Shuffle-RepAns」形式に摂動を加えると、11.3% の正確度まで急激に低下し、記憶や表面的なパターン依存に依存していることが示唆された。
• 指示微調整により、識別型LLMは順列不変性を達成し、選択肢の順序に関係なく予測が一貫するようになった。これは、記憶ではなく推論に基づいた性能向上を示している。
• 10,000件を超える訓練データセットでは、選択肢のシャッフルと正解置換を併用した50%の高い摂動比が、GPT-3.5 や GPT-4 などの生成型LLMの汎化性能を顕著に向上させた。
• 論理駆動型データ拡張とプロンプト技術の組み合わせにより、識別型および生成型LLMの性能が向上し、特にLogiQAv2-plusデータセットで耐性の向上が顕著に観察された。
• LLaMAモデル（7B から 65B パラメータ）の間で、Shuffle-RepAns形式のゼロショット評価において顕著な性能差は認められず、モデルサイズそのものが耐性を決定づけないことが示された。
• 訓練データが10,000件未満の場合は、データ摂動による性能向上が有効でないことが判明し、効果的なデータ拡張のための閾値効果が存在することが示された。