[论文解读] Are Large Language Models Really Robust to Word-Level Perturbations?

H. Wang, Guozheng Ma+11 more|arXiv (Cornell University)|Sep 20, 2023

Topic Modeling被引用 4

一句话总结

本文提出 TREvaL，一种新颖的评估框架，利用预训练奖励模型评估大语言模型（LLMs）在开放式、长篇对话中对词级扰动的鲁棒性。该方法揭示了 LLMs 对常见语言扰动存在脆弱性，且令人惊讶的是，经过微调后鲁棒性反而下降，尤其是在强化学习人类反馈（RLHF）阶段，尽管帮助性得分有所提高。

ABSTRACT

The swift advancement in the scales and capabilities of Large Language Models (LLMs) positions them as promising tools for a variety of downstream tasks. In addition to the pursuit of better performance and the avoidance of violent feedback on a certain prompt, to ensure the responsibility of the LLM, much attention is drawn to the robustness of LLMs. However, existing evaluation methods mostly rely on traditional question answering datasets with predefined supervised labels, which do not align with the superior generation capabilities of contemporary LLMs. To address this issue, we propose a novel rational evaluation approach that leverages pre-trained reward models as diagnostic tools to evaluate the longer conversation generated from more challenging open questions by LLMs, which we refer to as the Reward Model for Reasonable Robustness Evaluation (TREvaL). Longer conversations manifest the comprehensive grasp of language models in terms of their proficiency in understanding questions, a capability not entirely encompassed by individual words or letters, which may exhibit oversimplification and inherent biases. Our extensive empirical experiments demonstrate that TREvaL provides an innovative method for evaluating the robustness of an LLM. Furthermore, our results demonstrate that LLMs frequently exhibit vulnerability to word-level perturbations that are commonplace in daily language usage. Notably, we are surprised to discover that robustness tends to decrease as fine-tuning (SFT and RLHF) is conducted. The code of TREval is available in https://github.com/Harry-mic/TREvaL.

研究动机与目标

• 为解决现有 LLM 鲁棒性评估方法依赖封闭式或短答案任务、无法捕捉生成能力的局限性。
• 开发一种更全面的评估方法，以反映 LLM 在开放式、长篇对话中的实际使用场景。
• 研究不同训练阶段（预训练、SFT、RLHF）和模型规模下鲁棒性的变化。
• 实证表明词级扰动显著降低 LLM 性能，尤其在微调模型中更为明显。
• 开源 TREvaL 框架，以实现可复现且标准化的鲁棒性评估。

提出的方法

• 该方法使用来自 Natural Questions 数据集的 1,000 个开放式问题作为提示，以激发 LLM 生成长篇回应。
• 对提示应用三种词级扰动级别——拼写错误、同义词替换和词语互换。
• 使用预训练奖励模型评估生成回应的质量，衡量其帮助性和无害性。
• 鲁棒性通过干净输入与扰动输入之间奖励分数的下降率来量化。
• 该框架支持在不同模型阶段（预训练、SFT、RLHF）和不同模型（Llama-7B、Alpaca-7B、Beaver-7B）之间进行比较。
• 通过扰动模型参数进行景观分析，以可视化平坦度和鲁棒性趋势。

实验结果

研究问题

• RQ1 大语言模型在开放式、长篇对话中是否对常见的词级扰动保持鲁棒性？
• RQ2 LLMs 的鲁棒性在不同训练阶段（预训练、监督微调（SFT）、基于人类反馈的强化学习（RLHF））中如何变化？
• RQ3 在微调后，LLMs 是否存在帮助性与鲁棒性之间的权衡？
• RQ4 模型规模和参数分布如何影响扰动下的鲁棒性？
• RQ5 奖励模型能否作为生成场景下 LLM 鲁棒性评估的可靠工具？

主要发现

• 所有评估的 LLM 在词级扰动下均出现显著性能下降，表明其在真实使用中缺乏鲁棒性。
• 预训练 LLM 帮助性最低但鲁棒性最高，而经过 RLHF 微调的模型帮助性最高但鲁棒性最低。
• 鲁棒性在每次微调阶段均持续下降，表明 SFT 和 RLHF 可能会破坏模型参数分布的稳定性。
• 景观分析证实，随着微调进行，模型逐渐变得更平坦（更敏感），其中 Beaver-7B 敏感度最高，Llama-7B 敏感度最低。
• 鲁棒性下降并非由于无害性下降所致，因为扰动并非旨在诱导有害输出。
• 结果表明，当前的 SFT 和 RLHF 范式可能需要重新设计，以提升部署中 LLM 的稳定性和鲁棒性。