[논문 리뷰] Are Large Language Models Really Robust to Word-Level Perturbations?

H. Wang, Guozheng Ma외 11명|arXiv (Cornell University)|2023. 09. 20.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 개방형 장기 대화에서 어휘 수준의 변형에 대한 대규모 언어 모델(Large Language Models, LLMs)의 강건성 평가를 위해 사전 훈련된 보상 모델을 사용하는 새로운 평가 프레임워크 TREvaL을 제안한다. 이 방법은 LLMs가 일반적인 언어적 변형에 취약하다는 것을 드러내며, 놀랍게도 보완 훈련, 특히 RLHF 동안 강건성이 향상되는 것과는 달리 감소한다는 것을 보여준다. 이는 도움이 되는 점수는 향상되었음에도 불구하고 그렇다.

ABSTRACT

The swift advancement in the scales and capabilities of Large Language Models (LLMs) positions them as promising tools for a variety of downstream tasks. In addition to the pursuit of better performance and the avoidance of violent feedback on a certain prompt, to ensure the responsibility of the LLM, much attention is drawn to the robustness of LLMs. However, existing evaluation methods mostly rely on traditional question answering datasets with predefined supervised labels, which do not align with the superior generation capabilities of contemporary LLMs. To address this issue, we propose a novel rational evaluation approach that leverages pre-trained reward models as diagnostic tools to evaluate the longer conversation generated from more challenging open questions by LLMs, which we refer to as the Reward Model for Reasonable Robustness Evaluation (TREvaL). Longer conversations manifest the comprehensive grasp of language models in terms of their proficiency in understanding questions, a capability not entirely encompassed by individual words or letters, which may exhibit oversimplification and inherent biases. Our extensive empirical experiments demonstrate that TREvaL provides an innovative method for evaluating the robustness of an LLM. Furthermore, our results demonstrate that LLMs frequently exhibit vulnerability to word-level perturbations that are commonplace in daily language usage. Notably, we are surprised to discover that robustness tends to decrease as fine-tuning (SFT and RLHF) is conducted. The code of TREval is available in https://github.com/Harry-mic/TREvaL.

연구 동기 및 목표

• 기존의 폐쇄형 또는 단답형 과제에 의존하는 LLM 강건성 평가의 한계를 해결하고, 생성 능력을 반영하지 못하는 문제를 해결하기 위해.
• 개방형 장기 대화 환경에서의 실제 사용을 반영하는 보다 통합적인 평가 방법을 개발하기 위해.
• 다양한 훈련 단계(사전 훈련, SFT, RLHF)와 모델 크기에서 강건성이 어떻게 변화하는지 조사하기 위해.
• 어휘 수준의 변형이 LLM 성능에 상당한 영향을 미치며, 특히 보완 훈련된 모델에서 더욱 심각하다는 것을 경험적으로 입증하기 위해.
• TREvaL 프레임워크를 오픈소스로 제공하여 재현 가능하고 표준화된 강건성 평가를 가능하게 하기 위해.

제안 방법

• 1,000개의 개방형 질문을 Natural Questions 데이터셋에서 추출하여 LLM이 장기형 응답을 생성하도록 유도한다.
• 질문에 대해 어휘 수준의 변형 세 가지 수준을 적용한다: 철자 오류, 동의어 교체, 단어 교환.
• 사전 훈련된 보상 모델이 생성된 응답의 품질을 평가하여 유용성과 해로움 여부를 측정한다.
• 강건성은 청소된 입력과 변형된 입력 간의 보상 점수 감소 비율로 정량화된다.
• 이 프레임워크를 통해 사전 훈련, SFT, RLHF 단계의 모델 간 비교가 가능하며, Llama-7B, Alpaca-7B, Beaver-7B 등의 모델을 대상으로 한다.
• 모델 파라미터를 변형시켜 평면도 분석을 수행하여 평탄함과 강건성 추세를 시각화한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 개방형 장기 대화에서 일반적인 어휘 수준의 변형에 여전히 강건한가?
• RQ2 사전 훈련, 지도적 보완 훈련(SFT), 인간 피드백을 통한 강화 학습(RLHF) 단계에서 LLM의 강건성은 어떻게 변화하는가?
• RQ3 특히 보완 훈련 이후에, 도움이 되는 정도와 강건성 사이에 상충 관계가 존재하는가?
• RQ4 모델 크기와 파라미터 분포는 변형에 대한 강건성에 어떻게 영향을 미치는가?
• RQ5 보상 모델은 생성 환경에서 LLM의 강건성 평가에 신뢰할 수 있는 평가자로 기능할 수 있는가?

주요 결과

• 모든 평가된 LLM은 어휘 수준의 변형으로 인해 심각한 성능 저하를 경험하며, 이는 실제 사용 환경에서의 강건성 부족을 시사한다.
• 사전 훈련된 LLM은 도움이 되는 정도는 가장 낮지만 강건성은 가장 높은 반면, RLHF로 보완된 모델는 도움이 되는 정도는 가장 높지만 강건성은 가장 낮다.
• 모든 보완 훈련 단계에서 강건성이 지속적으로 감소하며, 이는 SFT와 RLHF가 모델 파라미터 분포를 불안정하게 만들 수 있음을 시사한다.
• 평면도 분석을 통해 보완 훈련이 진행될수록 모델이 점점 더 평탄해지고 민감도가 증가하는 것으로 확인되었으며, Beaver-7B는 가장 높은 민감도를 보였고, Llama-7B는 가장 낮은 민감도를 보였다.
• 강건성 저하의 원인은 해로움 여부가 악화된 데서 비롯되지 않았다. 변형은 유해한 출력을 유도하도록 설계되지 않았기 때문이다.
• 결과적으로 현재의 SFT와 RLHF 패러다임은 배포된 LLM의 안정성과 강건성을 향상시키기 위해 재설계가 필요할 수 있음을 시사한다.