[논문 리뷰] Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

Junyuan Hong, Jinhao Duan외 13명|arXiv (Cornell University)|2024. 03. 18.

Cryptography and Data Security인용 수 4

한 줄 요약

이 논문은 효율적으로 압축된 대규모 언어 모델(Large Language Models, LLMs)에서 신뢰성에 대한 최초의 종합적 평가를 수행하며, 여덟 가지 신뢰성 차원을 기준으로 최신 압축 기법 다섯 가지를 분석한다. 연구 결과, 4비트 양자화는 프루닝보다 신뢰성 유지가 더 우수한 것으로 나타났으며, 극단적 양자화(3비트)는 안전성과 공정성에 심각한 악영향을 미쳐 기존의 양호한 성능 지표만으로는 드러나지 않는 숨겨진 위험을 드러냈다.

ABSTRACT

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to reduce trustworthiness significantly. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Code and models are available at https://decoding-comp-trust.github.io.

연구 동기 및 목표

• 모델 압축이 양호한 성능 이외의 신뢰성에 미치는 영향을 조사하기 위해.
• 압축으로 인한 효율성 향상이 실질적 구현 환경에서 안전성, 공정성, 윤리성, 내성 등에 영향을 미치는지 확인하기 위해.
• 사전학습에서부터 시작하는 것과 더 큰 모델에서의 압축을 통해 생성된 모델 간의 신뢰성 및 효율성 측면에서 비교하기 위해.
• 실제 응용 분야에서 효율적이면서도 신뢰할 수 있는 LLM을 구현하기 위한 실질적인 권고 사항을 제공하기 위해.
• 기본 벤치마크만으로는 감지되지 않는, 압축된 모델 내에 잠재된 위험 요소를 드러내기 위해.

제안 방법

• 세 가지 주요 LLM에 대해 최신 압축 기법 다섯 가지—AWQ, GPTQ, GGUF, GPTQ-INT4, 프루닝—을 평가하였다.
• 8가지 신뢰성 차원(독성, 스테레오타입, 개인정보, 공정성, 윤리성, 내성 등)을 평가하기 위해 DecodingTrust 벤치마크(Wang 등, 2023a)를 사용하였다.
• 원본 밀도 모델 및 사전학습에서부터 시작한 7b 모델과 비교하기 위해 13b에서 7b로 압축된 모델을 분석하였다.
• 징벌적 시스템 프롬프트와 함께 양호한 성능 및 악성 프롬프트를 사용하여 성능을 측정하였으며, 특히 잠금 해제 공격도 포함하였다.
• Perspective API를 통해 독성 점수를 계산하고, 콘텐츠 정책 저항력을 평가하기 위해 거부율을 측정하였다.
• 특정 및 비특정 편향 유도 프롬프트를 사용하여 스테레오타입 정확도 및 거부 행동을 평가하기 위해 모델 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 모델 압축은 다양한 안전성 및 공정성 차원에서 LLM의 신뢰성에 어떤 영향을 미치는가?
• RQ2 유사한 압축 비율에서 4비트 양자화는 프루닝에 비해 신뢰성 유지 또는 저하를 어떻게 초래하는가?
• RQ3 극단적 양자화(예: 3비트)는 효율성을 높이기 위해 독성과 편향 위험을 증가시키는가?
• RQ4 왜 일부 압축 방법은 유사한 양호한 성능를 보일지라도 악성 프롬프트 하에서 더 높은 거부율이나 독성을 유도하는가?
• RQ5 사전학습된 7b 모델이 신뢰성 측면에서 압축된 13b 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 4비트 양자화는 윤리성, 공정성, 독성 등 대부분의 신뢰성 차원에서 원본 13b LLM의 신뢰성을 유지한다.
• 50% 희박성에서의 프루닝은 양호한 성능에 미미한 영향을 주지만, 공정성 및 스테레오타입 탐지 측면에서 신뢰성에 심각한 악영향을 미친다.
• 3비트 양자화는 독성 점수를 크게 증가시키고 거부율을 급격히 감소시켜 유해 출력에 대한 저항력이 떨어지는 것을 시사한다.
• AWQ 및 GPTQ 양자화 방법은 특히 비특정 프롬프트 하에서 더 높은 편향을 유도하며, 이는 해로운 경향을 악화시킬 위험이 있음을 시사한다.
• 악성 시스템 프롬프트는 높은 거부율을 유도하지만, 이는 오히려 스테레오타입 탐지에서 내성성을 높이는 결과를 낳아, 모델 행동 내부의 편향 위험을 가리키는 결과를 낳는다.
• 본 연구는 양호한 성능 지표만으로는 신뢰성 저하를 감지할 수 없음을 드러내며, 종합적인 평가 프레임워크의 필요성을 강조한다.