[論文レビュー] Multilingual Jailbreak Challenges in Large Language Models

Yue Deng, Wenxuan Zhang+2 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用数 15

ひとこと要約

論文はLLMsの多言語 jailbreak 脆弱性を明らかにし、MultiJailを導入し、Self-Defenceが多言語の安全データを生成して言語間の不安全アウトプットを減らすことを提案します。

ABSTRACT

While large language models (LLMs) exhibit remarkable capabilities across a wide range of tasks, they pose potential safety concerns, such as the ``jailbreak'' problem, wherein malicious instructions can manipulate LLMs to exhibit undesirable behavior. Although several preventive measures have been developed to mitigate the potential risks associated with LLMs, they have primarily focused on English. In this study, we reveal the presence of multilingual jailbreak challenges within LLMs and consider two potential risky scenarios: unintentional and intentional. The unintentional scenario involves users querying LLMs using non-English prompts and inadvertently bypassing the safety mechanisms, while the intentional scenario concerns malicious users combining malicious instructions with multilingual prompts to deliberately attack LLMs. The experimental results reveal that in the unintentional scenario, the rate of unsafe content increases as the availability of languages decreases. Specifically, low-resource languages exhibit about three times the likelihood of encountering harmful content compared to high-resource languages, with both ChatGPT and GPT-4. In the intentional scenario, multilingual prompts can exacerbate the negative impact of malicious instructions, with astonishingly high rates of unsafe output: 80.92\% for ChatGPT and 40.71\% for GPT-4. To handle such a challenge in the multilingual context, we propose a novel \textsc{Self-Defense} framework that automatically generates multilingual training data for safety fine-tuning. Experimental results show that ChatGPT fine-tuned with such data can achieve a substantial reduction in unsafe content generation. Data is available at \url{https://github.com/DAMO-NLP-SG/multilingual-safety-for-LLMs}.

研究の動機と目的

• 非意図的および意図的な状況下で、LLMsにおける多言語 jailbreakリスクを特定し、特徴づける。
• 初の多言語 jailbreak データセット MultiJail を作成・公開する。
• 多言語設定における言語リソースの影響と翻訳ベースの安全性攻撃を分析する。
• 人間の注釈なしで安全性を向上させる自己生成型の多言語安全データ拡張フレームワーク(Self-Defence)を提案・評価する。

提案手法

• 英語のプロンプトを翻訳して30言語をカバーする多言語の不安全プロンプトデータセットを編成する。
• 人間およびGPT-4の評価者を用いて、言語横断でChatGPTとGPT-4の安全性を評価する。
• 10言語にまたがる3150サンプルの MultiJail を構築・分析する。
• 多言語適応攻撃を含む、非意図的および意図的な jailbreak シナリオをシミュレーションする。
• Self-Defence を開発して、LLMを介して多言語の安全データを生成し、微調整のために複数言語へ翻訳する。
• 安全微調整後の安全性と有用性のトレードオフを評価する。）

実験結果

リサーチクエスチョン

• RQ1 非英語の言語でLLMsにプロンプトを与えた場合、不安全な出力はどれくらい普遍的ですか（非意図的な状況）？
• RQ2 多言語プロンプトは、英語の悪意ある指示とどのように相互作用して jailbreak を可能にしますか（意図的な状況）？
• RQ3 自己生成型の多言語安全データ拡張戦略は、人間の注釈なしで安全性を向上させることができますか（Self-Defence）？
• RQ4 多言語の安全性微調整後の安全性とモデルの有用性のトレードオフはどうなりますか？

主な発見

モデル	英語	中国語	イタリア語	ベトナム語	高リソース言語	アラビア語	韓国語	タイ語	中リソース言語	ベンガル語	スワヒリ語	ジャワ語	低リソース言語	平均
unintentional ChatGPT	0.63	2.22	2.86	7.94	4.34	6.03	9.84	18.10	11.32	28.25	7.94	8.57	14.92	10.19
unintentional GPT-4	0.95	3.49	2.54	4.76	3.60	3.49	3.81	5.08	4.13	12.70	6.35	11.43	10.16	5.96
intentional ChatGPT	72.06	81.27	83.17	81.27	81.90	82.54	80.00	81.90	81.48	83.17	83.49	71.43	79.37	80.92
intentional GPT-4	28.25	41.90	44.44	34.29	40.21	29.84	34.92	46.67	37.14	38.41	43.49	52.38	44.76	40.71

• 言語リソースが減少すると不安全な内容が増加します（例：ベンガル語：ChatGPT の非意図的シナリオで 28.25%）。
• 非意図的な多言語不安全率：ChatGPT 平均 10.19%、GPT-4 平均 5.96%。
• 意図的な多言語攻撃は高い不安全率を生む：ChatGPT 80.92%、GPT-4 40.71%（平均）。
• 多言語適応攻撃は顕著な不安全率を達成：ChatGPT 44.76%、GPT-4 27.30%。
• Self-Defence は不安全率を低減：非意図的に 10.19% から 3.95%へ；意図的に ChatGPT で 80.92% から 60.00%へ。
• Self-Defence は安全性と有用性のトレードオフを生み出し、安全性を向上させる一方、全体的な有用性を低下させる可能性がある。