[論文レビュー] Low-Resource Languages Jailbreak GPT-4

Zheng-Xin Yong, Cristina Menghini+1 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用数 18

ひとこと要約

本論文は、GPT-4 の安全性におけるクロスリンガルの脆弱性を、危険な英語入力を低リソース言語に翻訳することによって示し、AdvBench で 79% の成功率でジャイルブレイクを実現します。

ABSTRACT

AI safety training and red-teaming of large language models (LLMs) are measures to mitigate the generation of unsafe content. Our work exposes the inherent cross-lingual vulnerability of these safety mechanisms, resulting from the linguistic inequality of safety training data, by successfully circumventing GPT-4's safeguard through translating unsafe English inputs into low-resource languages. On the AdvBenchmark, GPT-4 engages with the unsafe translated inputs and provides actionable items that can get the users towards their harmful goals 79% of the time, which is on par with or even surpassing state-of-the-art jailbreaking attacks. Other high-/mid-resource languages have significantly lower attack success rate, which suggests that the cross-lingual vulnerability mainly applies to low-resource languages. Previously, limited training on low-resource languages primarily affects speakers of those languages, causing technological disparities. However, our work highlights a crucial shift: this deficiency now poses a risk to all LLMs users. Publicly available translation APIs enable anyone to exploit LLMs' safety vulnerabilities. Therefore, our work calls for a more holistic red-teaming efforts to develop robust multilingual safeguards with wide language coverage.

研究の動機と目的

• LLM の安全性トレーニングが高リソース言語に言語的に偏っていることを示す。
• 危険な入力を低リソース言語に翻訳することでクロスリンガルの脆弱性を実証する。
• AdvBench を用いた翻訳入力に対する GPT-4 のジャイルブレイク成功率を定量化する。
• 多言語対応のレッドチーミングと安全対策の意味を強調する。

提案手法

• 公共翻訳 API を用いて危険な英語プロンプトを低リソース言語に翻訳する。
• AdvBench ベンチマークにおいて翻訳されたプロンプトに対する GPT-4 の応答を評価する。
• 高/中/低リソース言語間での攻撃成功率を比較する。
• 最先端のジャイルブレイク攻撃と比較する。
• 言語カバレッジと安全性トレーニングデータに関連する制限を議論する。

実験結果

リサーチクエスチョン

• RQ1 危険なプロンプトを低リソース言語に翻訳することで、高リソース言語には露出しない GPT-4 の安全性の脆弱性が生じるか？
• RQ2 AdvBench でリソースレベルの異なる言語間でジャイルブレイクの相対的な成功率はどのようか？
• RQ3 クロスリンガル脆弱性は、多言語のレッドチーミングと安全対策の必要性にどのように影響するか？

主な発見

• GPT-4 は翻訳された危険な入力に対して関与し、AdvBench で 79% の頻度で有害な目標に向けた実行可能な提案を提供する。
• 攻撃成功率は低リソース言語で最も高く、高リソース/中リソース言語で低い。
• クロスリンガル脆弱性は、安全トレーニングデータの言語的不平等に起因する。
• 公共翻訳APIはLLMの安全性脆弱性の広範な悪用を可能にする。
• 発見は、広範な言語カバーを伴う包括的な多言語レッドチーミングと安全対策の必要性を示唆する。