[논문 리뷰] Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility

Wentao Ye, Mingfeng Ou외 9명|arXiv (Cornell University)|2023. 05. 15.

Topic Modeling인용 수 13

한 줄 요약

This paper presents an automated workflow to study LLMs’ robustness, consistency, and credibility using over one million queries across multiple models, revealing vulnerabilities and proposing the Relative Training Index (RTI) to gauge dataset credibility for LLM evaluations.

ABSTRACT

The recent popularity of large language models (LLMs) has brought a significant impact to boundless fields, particularly through their open-ended ecosystem such as the APIs, open-sourced models, and plugins. However, with their widespread deployment, there is a general lack of research that thoroughly discusses and analyzes the potential risks concealed. In that case, we intend to conduct a preliminary but pioneering study covering the robustness, consistency, and credibility of LLMs systems. With most of the related literature in the era of LLM uncharted, we propose an automated workflow that copes with an upscaled number of queries/responses. Overall, we conduct over a million queries to the mainstream LLMs including ChatGPT, LLaMA, and OPT. Core to our workflow consists of a data primitive, followed by an automated interpreter that evaluates these LLMs under different adversarial metrical systems. As a result, we draw several, and perhaps unfortunate, conclusions that are quite uncommon from this trendy community. Briefly, they are: (i)-the minor but inevitable error occurrence in the user-generated query input may, by chance, cause the LLM to respond unexpectedly; (ii)-LLMs possess poor consistency when processing semantically similar query input. In addition, as a side finding, we find that ChatGPT is still capable to yield the correct answer even when the input is polluted at an extreme level. While this phenomenon demonstrates the powerful memorization of the LLMs, it raises serious concerns about using such data for LLM-involved evaluation in academic development. To deal with it, we propose a novel index associated with a dataset that roughly decides the feasibility of using such data for LLM-involved evaluation. Extensive empirical studies are tagged to support the aforementioned claims.

연구 동기 및 목표

• 전통적인 NLP 지표를 넘어 LLM 위험에 대한 체계적 평가를 유도한다.
• LLMs의 강건성, 일관성, 신뢰성 평가를 자동화된 워크플로로 확장할 것을 제안한다.
• 대규모 쿼리 응답을 처리하기 위한 통합 데이터 원시형(unified data primitive)과 자동 해석기(automated interpreter)를 도입한다.
• 실세계 LLM 사용에 맞춘 위협 모델과 공격 방식을 개발한다.
• 데이터셋 신뢰도 지수로서 RTI를 도입하여 LLM 평가를 위한 데이터셋 선택에 방향을 제시한다.

제안 방법

• gpt-3.5-turbo API와 오픈 소스 LLaMA 및 OPT 모델을 백본으로 사용한다.
• 다중 혼돈 옵션을 갖춘 QA 데이터를 구조화하기 위해 (prompt, p, q, o, a)로 구성된 보편적 데이터 원시형(universal data primitive)을 형성한다.
• 실제 입력 오류를 시뮬레이션하기 위해 단어/문자/시각적 섭동을 통한 공격을 자동화한다.
• LLM 사용 시나리오에 맞춘 강건성 및 일관성 위협 모델과 다섯 가지 공격 체계를 정의한다.
• 입력을 점진적으로 섭동하여 memorization 효과와 데이터셋 신뢰성을 결정하고 RTI를 계산한다.
• 프로젝트 URL에서 오픈 소스 데이터셋 및 샘플이 제공된다.

실험 결과

연구 질문

• RQ1 최고 수준의 LLM들이 적대적으로 구성된 입력과 일반적인 사용자 오류에 얼마나 강건한가?
• RQ2 의미적으로 유사한 입력이 재구성될 때 LLM의 응답은 얼마나 일관된가?
• RQ3 memorization-driven index (RTI)를 사용하여 LLM 기반 평가를 위한 평가 데이터셋의 신뢰성을 정량화할 수 있는가?
• RQ4 강건성, 일관성, memorization이 LLM의 학술적 평가에 어떤 실용적 함의를 가지는가?

주요 결과

• 사소한 입력 섭동이 LLM의 예기치 않은 응답을 야기할 수 있다.
• 의미적으로 유사한 질의를 처리할 때 LLM은 일관성이 떨어진다.
• ChatGPT는 입력이 심하게 오염되어도 여전히 정답을 도출할 수 있어 memorization을 시사한다.
• RTI는 데이터셋 memorization의 상대적 척도와 LLM 평가에의 적합성을 제공한다.
• 본 연구는 오염되었거나 memorized된 데이터셋을 LLM이 참여하는 평가에 사용하는 데 주의를 촉구하며 오픈 소스 자원을 제공한다.