[论文解读] Assessing and Enhancing the Robustness of Large Language Models with Task Structure Variations for Logical Reasoning

Qiming Bao, G. Gendron+6 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用 4

一句话总结

本文通过选项随机重排和将正确答案替换为“其他选项均不正确”等方式，对任务结构进行扰动，提出了三个增强的逻辑推理数据集——ReClor-plus、LogiQA-plus 和 LogiQAv2-plus。尽管 GPT-3.5 和 GPT-4 在原始数据集上表现强劲，但在这些变体上性能显著下降，揭示了其鲁棒性较差。研究表明，指令微调与基于逻辑的数据增强可显著提升泛化能力与鲁棒性，尤其在训练集规模大于 10,000 个样本且扰动比例较高时效果更明显。

ABSTRACT

Large language models (LLMs), such as LLaMA, Alpaca, Vicuna, GPT-3.5 and GPT-4, have advanced the performance of AI systems on various natural language processing tasks to human-like levels. However, their generalisation and robustness when performing logical reasoning has not been sufficiently assessed. To comprehensively evaluate this ability, we develop three new logical reasoning datasets named "ReClor-plus", "LogiQA-plus" and "LogiQAv2-plus" that extend standard logical reasoning datasets to evaluate the robustness of the LLM's reasoning. For each, we create three subsets: the first with randomly shuffled options, the second with the correct choices replaced by "none of the other options is correct", and the third with a combination of shuffling and substitution. Experiments on these datasets show that these simple augmentations greatly hinder the models' performance. Despite their high performance on the original publicly available datasets, we find that all models perform poorly on these newly constructed datasets. We also demonstrate that introducing task variations into the training set can markedly improve the model's performance on both the original and our developed datasets. Finally, we show that applying logic-driven data augmentation for fine-tuning and prompting can enhance generalisation in both discriminative and generative models, offering a path to improving their robustness for tasks involving logical reasoning. Source code and data are made publicly available at https://github.com/Strong-AI-Lab/Logical-and-abstract-reasoning.

研究动机与目标

• 探究大语言模型（LLMs）在结构扰动下于逻辑推理任务中的泛化与鲁棒性。
• 通过引入任务结构变化，缓解现有逻辑推理数据集中记忆化与过拟合的风险。
• 评估指令微调、提示工程与数据增强是否能提升 LLM 在分布外推理任务中的抗扰动能力。
• 考察训练数据规模与扰动比例对模型泛化能力的影响，尤其针对生成式与判别式 LLM。
• 确定模型规模（如 LLaMA-7B 至 LLaMA-65B）是否与零样本评估下推理鲁棒性的提升存在显著相关性。

提出的方法

• 作者通过两种扰动方式——答案选项随机重排与将正确答案替换为“其他选项均不正确”——创建了三个新数据集：ReClor-plus、LogiQA-plus 和 LogiQAv2-plus。
• 每个数据集包含三个子集：原始格式、选项重排格式与正确答案替换格式，支持对模型鲁棒性的系统性评估。
• 实验在判别式（如 LReasoner、MERIt）与生成式（如 GPT-3.5、GPT-4、LLaMA、Alpaca、Vicuna）大语言模型上，于零样本与微调设置下进行。
• 在指令微调过程中应用基于逻辑的数据增强，以提升推理泛化能力，同时结合提示工程进一步增强性能。
• 研究在训练集上评估不同数据扰动比例（5% 至 50%）下的模型表现，重点关注对分布外结构的泛化能力。
• 通过在零样本评估下对比 LLaMA 模型从 7B 到 65B 参数的性能，评估模型规模对可扩展性的影响。

实验结果

研究问题

• RQ1 当面对如答案选项重排或正确答案被替换等结构变化时，大语言模型是否在逻辑推理任务中表现出鲁棒的泛化能力？
• RQ2 指令微调与基于逻辑的数据增强是否能提升生成式与判别式 LLM 在分布外推理任务中的鲁棒性与泛化能力？
• RQ3 训练数据集规模是否影响数据扰动在提升逻辑推理模型泛化能力方面的有效性？
• RQ4 在零样本评估下，模型规模（如 LLaMA-7B 至 LLaMA-65B）是否与在扰动逻辑推理任务中的性能存在显著相关性？
• RQ5 相较于微调与数据增强策略，思维链（CoT）提示工程本身在多大程度上能提升逻辑推理的鲁棒性？

主要发现

• GPT-3.5 与 GPT-4 在原始逻辑推理数据集上表现优异，但在扰动后的“Shuffle-RepAns”格式上准确率大幅下降至 11.3%，表明其依赖记忆化或表层模式。
• 指令微调使判别式 LLM 实现了排列不变性，即其预测结果不随答案选项顺序改变而改变，表明其推理能力优于记忆能力。
• 当训练集超过 10,000 个样本时，若同时采用选项重排与正确答案替换的高比例扰动（如 50%），生成式 LLM（如 GPT-3.5 与 GPT-4）的泛化能力显著提升。
• 基于逻辑的数据增强与提示工程结合，可显著提升判别式与生成式 LLM 的性能，尤其在 LogiQAv2-plus 数据集上表现更优，验证了鲁棒性的增强。
• 在 Shuffle-RepAns 格式下，LLaMA 模型从 7B 到 65B 参数的性能无显著差异，表明模型规模本身并不能决定鲁棒性。
• 当训练集小于 10,000 个样本时，数据扰动带来的性能提升无效，凸显了有效数据增强的阈值效应。