[论文解读] Fool Your (Vision and) Language Model With Embarrassingly Simple Permutations

Yongshuo Zong, Tingyang Yu+3 more|arXiv (Cornell University)|Oct 2, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文揭示了大型语言模型（LLMs）和视觉语言模型（VLLMs）中的一个关键脆弱性：在多项选择题问答（MCQA）任务中，当答案选项被随机置换时，模型表现出严重的性能下降。尽管在标准基准测试中表现优异，像 Llama2-13B 这类模型的准确率最高下降达 33.89%，甚至低于随机猜测水平，表明其对输入顺序置换缺乏基本的不变性，严重削弱了对其鲁棒性的信任。

ABSTRACT

Large language and vision-language models are rapidly being deployed in practice thanks to their impressive capabilities in instruction following, in-context learning, and so on. This raises an urgent need to carefully analyse their robustness so that stakeholders can understand if and when such models are trustworthy enough to be relied upon in any given application. In this paper, we highlight a specific vulnerability in popular models, namely permutation sensitivity in multiple-choice question answering (MCQA). Specifically, we show empirically that popular models are vulnerable to adversarial permutation in answer sets for multiple-choice prompting, which is surprising as models should ideally be as invariant to prompt permutation as humans are. These vulnerabilities persist across various model sizes, and exist in very recent language and vision-language models. Code is available at https://github.com/ys-zong/FoolyourVLLMs.

研究动机与目标

• 研究 LLMs 和 VLLMs 在多项选择题问答（MCQA）任务中对简单输入扰动的鲁棒性。
• 识别高基准性能是否掩盖了模型行为中的潜在脆弱性。
• 检验常见的缓解策略（如多数投票或校准）是否能有效应对由置换引发的性能下降。
• 确定该脆弱性是否源于位置偏差，或模型推理中更深层次的系统性缺陷。

提出的方法

• 在保持问题和内容不变的前提下，系统性地置换 MCQA 数据集中答案选项的顺序。
• 在所有置换组合中评估模型预测，直至出现错误预测为止，将鲁棒性定义为失败前的置换次数。
• 通过移除干扰项选项进行消融研究，以测试更少的选择集合是否能提升模型的抗扰动能力。
• 在 MMLU、AGI-Eval 和 ScienceQA 等多种 MCQA 基准上，对比多个 LLMs 和 VLLMs 的行为表现。
• 使用定性示例说明：尽管语义内容完全相同，置换仍会改变模型的预测结果。
• 测试多数投票（跨置换）和校准技术等缓解策略，以评估其有效性。

Figure 1: Schematic Illustration of a MCQA permutation attack.

实验结果

研究问题

• RQ1 当 MCQA 任务中的答案选项被随机置换时，LLMs 和 VLLMs 的准确率在多大程度上保持不变？
• RQ2 性能下降是源于位置偏差，还是模型对输入顺序缺乏不变性所导致的更深层缺陷？
• RQ3 现有的缓解技术（如多数投票或校准）能否有效恢复对置换攻击的鲁棒性？
• RQ4 移除干扰项选项后，模型对置换攻击的脆弱性如何变化？
• RQ5 所观察到的脆弱性是否在不同模型架构、参数规模以及模态（纯文本 vs. 视觉语言）之间保持一致？

主要发现

• 在 MMLU 基准上，Llama2-13B 在答案选项被随机置换后，准确率下降了 33.89%，降至低于随机猜测水平。
• 该脆弱性在广泛的 LLMs 和 VLLMs 中持续存在，包括 LLaMA、LLaMA2 和 Otter-Llama 等近期模型，表明存在系统性问题。
• 即使移除干扰项，模型性能对置换仍高度敏感，与预期相反——更少的选择本应提升鲁棒性。
• 仅靠位置偏差无法解释该攻击的强度，因为性能下降与答案位置无关，表明推理或注意力机制中存在更深层缺陷。
• 尽管计算成本增加为原来的 k! 倍，跨置换的多数投票策略仍无法恢复原始性能。
• 校准技术（如使用前校准）无法有效缓解该脆弱性，凸显了对架构或训练层面解决方案的迫切需求。

Figure 2: Summary of MCQA adversarial attack results for both LLMs and VLLMs. The values are average accuracy across all benchmarking datasets.