[論文レビュー] Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility

Wentao Ye, Mingfeng Ou+9 more|arXiv (Cornell University)|May 15, 2023

Topic Modeling被引用数 13

ひとこと要約

この論文は、1台以上のモデルに跨る100万件を超えるクエリを用いてLLMsの頑健性、整合性、信頼性を検証する自動ワークフローを提示し、脆弱性を明らかにし、LLM評価のデータセット信頼性を測る指標としてRelative Training Index (RTI)を提案します。

ABSTRACT

The recent popularity of large language models (LLMs) has brought a significant impact to boundless fields, particularly through their open-ended ecosystem such as the APIs, open-sourced models, and plugins. However, with their widespread deployment, there is a general lack of research that thoroughly discusses and analyzes the potential risks concealed. In that case, we intend to conduct a preliminary but pioneering study covering the robustness, consistency, and credibility of LLMs systems. With most of the related literature in the era of LLM uncharted, we propose an automated workflow that copes with an upscaled number of queries/responses. Overall, we conduct over a million queries to the mainstream LLMs including ChatGPT, LLaMA, and OPT. Core to our workflow consists of a data primitive, followed by an automated interpreter that evaluates these LLMs under different adversarial metrical systems. As a result, we draw several, and perhaps unfortunate, conclusions that are quite uncommon from this trendy community. Briefly, they are: (i)-the minor but inevitable error occurrence in the user-generated query input may, by chance, cause the LLM to respond unexpectedly; (ii)-LLMs possess poor consistency when processing semantically similar query input. In addition, as a side finding, we find that ChatGPT is still capable to yield the correct answer even when the input is polluted at an extreme level. While this phenomenon demonstrates the powerful memorization of the LLMs, it raises serious concerns about using such data for LLM-involved evaluation in academic development. To deal with it, we propose a novel index associated with a dataset that roughly decides the feasibility of using such data for LLM-involved evaluation. Extensive empirical studies are tagged to support the aforementioned claims.

研究の動機と目的

• 従来のNLP指標を超えるLLMリスクの体系的評価を動機付ける。
• LLMsの頑健性、整合性、信頼性評価を自動化ワークフローでスケールさせる。
• 大規模なクエリ応答を扱う統一データプリミティブと自動解釈器を導入する。
• 現実世界のLLM利用に合わせた脅威モデルと攻撃方式を開発する。
• LLM評価のデータセット選択を導くデータセット信頼性指標としてRTIを導入する。

提案手法

• gpt-3.5-turbo APIとオープンソースのLLaMAおよびOPTモデルをバックボーンとして使用する。
• 普遍的なデータプリミティブを形成する： (prompt, p, q, o, a) を用いて複数の混乱要素を含むQAデータを構造化する。
• 現実的な入力エラーを模倣するために語／文字／視覚的摂動を自動化して攻撃を行う。
• 頑健性と整合性の脅威モデルと、LLM利用シナリオに合わせた5つの攻撃スキームを定義する。
• 入力を段階的に摂動させて memorization の効果とデータセットの信頼性を決定することでRTIを計算する。
• オープンソースデータセットとサンプルはプロジェクトURLで提供されている。

実験結果

リサーチクエスチョン

• RQ1 先行するLLMが敵対的に構造化された入力や一般的なユーザーエラーに対してどれだけ頑健か。
• RQ2 意味的に類似する入力が再表現されたとき、LLMの応答はどれだけ一貫性があるか。
• RQ3 memorization駆動の指標（RTI）を用いてLLMベースの評価のデータセット信頼性を定量化できるか。
• RQ4 頑健性、整合性、 memorization が学術的なLLM評価にもたらす実践的含意は何か。

主な発見

• 小さな入力摂動でもLLMsが予期せぬ応答を示すことがある。
• 意味的に類似するクエリを処理する際にLLMsの整合性が乏しい。
• 入力が大幅に汚染されてもChatGPTは正解を導くことがあり、 memorization を示唆する。
• RTIはデータセットの memorization と LLMevaluation への適合性の相対的指標を提供する。
• 本研究は汚染されたデータセットや memorized なデータセットをLLMを含む評価に用いる際には慎重さを強調し、オープンソース資源を提供する。