[论文解读] Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

Junyuan Hong, Jinhao Duan+13 more|arXiv (Cornell University)|Mar 18, 2024

Cryptography and Data Security被引用 4

一句话总结

本文对高效压缩的大规模语言模型（LLMs）的可信度进行了首次全面评估，分析了五种最先进的压缩技术在八个可信维度上的表现。研究发现，4-bit量化比剪枝更能保持可信度，而极端量化（3-bit）显著降低了安全性和公平性，揭示了仅依赖良性性能指标时容易被忽视的隐藏风险。

ABSTRACT

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to reduce trustworthiness significantly. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Code and models are available at https://decoding-comp-trust.github.io.

研究动机与目标

• 探究模型压缩对LLM可信度的影响，超越良性性能表现。
• 识别压缩带来的效率提升是否在实际部署中损害了安全性、公平性、伦理性和鲁棒性。
• 比较从头预训练与从大模型压缩在可信度和效率方面的差异。
• 为在现实应用中部署高效且可信的LLM提供可操作的建议。
• 揭示通过标准基准测试难以检测到的压缩模型中的隐藏风险。

提出的方法

• 在三个领先的LLM上评估了五种最先进的压缩技术——AWQ、GPTQ、GGUF、GPTQ-INT4和剪枝。
• 使用DecodingTrust基准（Wang et al., 2023a）评估八个可信度维度：毒性、刻板印象、隐私、公平性、伦理以及鲁棒性（对抗性、分布外、对抗性示范）。
• 将压缩后的模型（从13b到7b）与原始稠密模型及从头训练的7b模型进行对比。
• 通过良性与对抗性系统提示（包括越狱攻击）测量性能。
• 利用Perspective API计算毒性得分，并测量拒绝率以评估内容政策抵抗能力。
• 分析模型在目标性与非目标性偏见诱导提示下的行为，以评估刻板印象准确性和拒绝行为。

实验结果

研究问题

• RQ1 模型压缩如何影响LLM在多个安全与公平维度上的可信度？
• RQ2 在相同压缩率下，量化相比剪枝是否更能保持或反而降低可信度？
• RQ3 极端量化（如3-bit）是否能以增加毒性与偏见为代价提升效率？
• RQ4 为何某些压缩方法在良性性能相近的情况下，却在对抗性提示下导致更高的拒绝率或毒性？
• RQ5 预训练的7b模型在可信度维度上在多大程度上优于压缩后的13b模型？

主要发现

• 4-bit量化在大多数可信维度上保持了原始13b LLM的可信度，包括伦理、公平性和毒性。
• 在50%稀疏度下进行剪枝显著降低了可信度，尤其在公平性和刻板印象检测方面，尽管对良性性能影响微乎其微。
• 3-bit量化导致毒性得分显著上升，拒绝率急剧下降，表明对有害输出的抵抗能力减弱。
• AWQ与GPTQ量化方法在良性任务中诱导了更高的偏见，尤其在非目标性提示下，表明存在放大有害倾向的风险。
• 恶意系统提示引发高拒绝率，这反而在刻板印象检测中提升了鲁棒性，但掩盖了模型行为中潜在的偏见风险。
• 本研究揭示，仅依赖良性性能指标不足以检测可信度的退化，凸显了构建全面评估框架的必要性。