[論文レビュー] Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and Toxicity

Terry Yue Zhuo, Yujin Huang+2 more|arXiv (Cornell University)|Jan 30, 2023

Adversarial Robustness in Machine Learning被引用数 170

ひとこと要約

本研究は、バイアス、信頼性、頑健性、および毒性の観点からChatGPTに対する定性的なレッドチームを実施し、ベンチマークとケーススタディを用いて倫理リスクとジャイルブレイクの脆弱性を特定する。

ABSTRACT

Recent breakthroughs in natural language processing (NLP) have permitted the synthesis and comprehension of coherent text in an open-ended way, therefore translating the theoretical algorithms into practical applications. The large language models (LLMs) have significantly impacted businesses such as report summarization software and copywriters. Observations indicate, however, that LLMs may exhibit social prejudice and toxicity, posing ethical and societal dangers of consequences resulting from irresponsibility. Large-scale benchmarks for accountable LLMs should consequently be developed. Although several empirical investigations reveal the existence of a few ethical difficulties in advanced LLMs, there is little systematic examination and user study of the risks and harmful behaviors of current LLM usage. To further educate future efforts on constructing ethical LLMs responsibly, we perform a qualitative research method called ``red teaming'' on OpenAI's ChatGPT\footnote{In this paper, ChatGPT refers to the version released on Dec 15th.} to better understand the practical features of ethical dangers in recent LLMs. We analyze ChatGPT comprehensively from four perspectives: 1) extit{Bias} 2) extit{Reliability} 3) extit{Robustness} 4) extit{Toxicity}. In accordance with our stated viewpoints, we empirically benchmark ChatGPT on multiple sample datasets. We find that a significant number of ethical risks cannot be addressed by existing benchmarks, and hence illustrate them via additional case studies. In addition, we examine the implications of our findings on AI ethics and harmal behaviors of ChatGPT, as well as future problems and practical design considerations for responsible LLMs. We believe that our findings may give light on future efforts to determine and mitigate the ethical hazards posed by machines in LLM applications.

研究の動機と目的

• 既存のベンチマークと人的評価を用いて、ChatGPTにおける倫理的リスク（バイアス、毒性）を特徴づける。
• 摂動、敵対的なプロンプト、事実問に対するChatGPTの頑健性と信頼性を評価する。
• シナリオを横断する実世界の脆弱性（例: プロンプト注入）と言語・多言語間のバイアスを特定する。
• 大規模言語モデルの責任ある開発に向けた設計上の考慮点と指針を提供する。

提案手法

• HELMに沿った原則に従い、4つの観点（バイアス、信頼性、頑健性、毒性）を評価するためにChatGPTをレッドチームする。
• BBQ（QAにおけるバイアス）とBOLD（テキスト生成のバイアスとステレオタイプ）でEMとバイアス関連指標を用いてChatGPTをベンチマークする。
• ゼロショット設定でChatGPTをInstructGPT（davinci-v2）およびGPT-3（davinci-v1）と比較する。
• 言語翻訳、コード生成、開放的な対話に関するケーススタディを実施し、ベンチマークを超えた追加のバイアスを明らかにする。
• 意味的摂動（綴りミス、フォーマット）とIMDBおよびBoolQのContrast Setsを用いてEMを指標とした頑健性を評価する。
• 安全性とジャイルブレイクの脆弱性を評価するため、敵対的なプロンプト注入シナリオをテストする。
• OpenBookQAとTruthfulQAを通じて信頼性を評価し、モデル間のExact Match結果を比較する。

Figure 1 : Framework of diagnosing AI ethics of ChatGPT, with the comparisons of SOTA LLMs. The diagnosis focuses on four perspectives, 1) Bias , 2) Robustness , 3) Reliability and 4) Toxicity . The evaluation of each perspective consists of two parts, existing benchmarks and human-evaluated case st

実験結果

リサーチクエスチョン

• RQ1 実務でChatGPTが示す倫理的リスク（バイアス、信頼性、頑健性、毒性）は何か。
• RQ2 既存のベンチマークはChatGPTにおけるこれらの倫理リスクをどのように捉え、または捉え損なっているか。
• RQ3 ChatGPTは敵対的なプロンプトやジャイルブレイク試行にどれだけ脆弱であり、安全機構がどの程度回避されるのか。
• RQ4 多言語およびコード生成の文脈で、ChatGPTは他の最先端LLMと比較してバイアスと公正性にどのようにパフォーマンスを発揮するか。
• RQ5 害を軽減し、LLMの責任ある展開を改善するための設計上の考慮点は何か。

主な発見

• ChatGPTはゼロショット評価でBBQおよびBOLDベンチマークにおいて、ベースラインのInstructGPTおよびGPT-3よりバイアス水準が低い。
• ChatGPTはベンチマークされたタスクで高い頑健性を示し、摂動下でIMDBとBoolQにおける意味的頑健性でベースラインを上回る。
• ケーススタディを通じて、ベンチマークを超える複数の倫理リスクが観察され、言語間の理解バイアスやコード生成の偏り傾向を含む。
• 制御されたジャイルブレイクプロンプト注入の研究で高い安全性を示し、100件中わずか2件のみが直接応答を返し、多くのプロンプトが安全対策を回避していた。
• 敵対的プロンプト注入は、多くの場合でジャイルブレイク試行が安全機構を回避できることを示し、実世界の使用における脆弱性を浮き彫りにする。
• 信頼性の結果は、OpenBookQAとTruthfulQAにおいてChatGPTがInstructGPTおよびGPT-3と比較して競争力のあるExact Matchのパフォーマンスを維持することを示すが、いくつかの知識領域で顕著な弱点がある。