[論文レビュー] Self-Deception: Reverse Penetrating the Semantic Firewall of Large Language Models

Zhenhua Wang, Wei Xie+4 more|arXiv (Cornell University)|Aug 16, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、大規模言語モデル（LLMs）の意味的ファイヤーウォールを回避するため、モデルが自らの脱獄ペイロードを生成するように仕向けけるプロンプトを生成する画期的な「自己欺瞞（self-deception）」攻撃を紹介している。この手法は、6言語および7つの仮想シナリオ（暴力、憎しみ、ポルノグラフィーを標的）において、GPT-3.5-Turboで86.2%、GPT-4で67%の成功率を達成し、非常に効果的な自動脱獄技術であることを示している。

ABSTRACT

Large language models (LLMs), such as ChatGPT, have emerged with astonishing capabilities approaching artificial general intelligence. While providing convenience for various societal needs, LLMs have also lowered the cost of generating harmful content. Consequently, LLM developers have deployed semantic-level defenses to recognize and reject prompts that may lead to inappropriate content. Unfortunately, these defenses are not foolproof, and some attackers have crafted "jailbreak" prompts that temporarily hypnotize the LLM into forgetting content defense rules and answering any improper questions. To date, there is no clear explanation of the principles behind these semantic-level attacks and defenses in both industry and academia. This paper investigates the LLM jailbreak problem and proposes an automatic jailbreak method for the first time. We propose the concept of a semantic firewall and provide three technical implementation approaches. Inspired by the attack that penetrates traditional firewalls through reverse tunnels, we introduce a "self-deception" attack that can bypass the semantic firewall by inducing LLM to generate prompts that facilitate jailbreak. We generated a total of 2,520 attack payloads in six languages (English, Russian, French, Spanish, Chinese, and Arabic) across seven virtual scenarios, targeting the three most common types of violations: violence, hate, and pornography. The experiment was conducted on two models, namely the GPT-3.5-Turbo and GPT-4. The success rates on the two models were 86.2% and 67%, while the failure rates were 4.7% and 2.2%, respectively. This highlighted the effectiveness of the proposed attack method. All experimental code and raw data will be released as open-source to inspire future research. We believe that manipulating AI behavior through carefully crafted prompts will become an important research direction in the future.

研究の動機と目的

• 大規模言語モデルにおける意味レベル脱獄攻撃のメカニズムを調査すること。
• プロンプト工学を用いてコンテンツ防御メカニズムを回避する方法について、体系的な理解の欠如を是正すること。
• 意味的ファイヤーウォールの脆弱性を突く、自動的かつスケーラブルな脱獄プロンプト生成手法の開発と評価すること。
• さまざまな違反カテゴリにわたる、多言語および多シナリオにおける攻撃の一般化可能性を調査すること。

提案手法

• 意味的ファイヤーウォールを、LLMにおける有害なコンテンツへの誘導を防ぐ防御メカニズムとして提唱する。
• LLMが自らの脱獄ペイロードを生成するように誘導する「自己欺瞞」攻撃戦略を導入する。
• 6言語（英語、ロシア語、フランス語、スペイン語、中国語、アラビア語）で合計2,520件の攻撃ペイロードを生成するためのマルチステージプロンプト生成パイプラインを採用する。
• 暴力、憎しみ、ポルノグラフィーの3つの違反タイプを標的にした7つの仮想シナリオを設計・実装する。
• 2つの主要モデル（GPT-3.5-Turbo および GPT-4）を用いて実験を実施し、成功および失敗率を測定する。
• すべての実験コードおよび生データをオープンソースとして公開し、今後のAIアライメントおよびセーフティ分野の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 組み込みのコンテンツ防御メカニズムがあるにもかかわらず、どのようにして意味的レベルのプロンプト操作によって大規模言語モデルを体系的に回避できるのか？
• RQ2 特定のプロンプトがLLMの安全規則を忘れさせたり、上書きさせたりする背後にある原理は何か？
• RQ3 自己欺瞞に基づく攻撃は、異なる言語および違反カテゴリにわたってどの程度一般化可能か？
• RQ4 提案手法の自動脱獄法は、多様なLLMアーキテクチャおよび設定においてどの程度有効か？
• RQ5 現実世界の展開シナリオにおいて、意味的ファイヤーウォール回避技術の失敗モードと制限要因は何か？

主な発見

• 自己欺瞞攻撃は、全テスト違反タイプおよび全言語でGPT-3.5-Turboにおいて86.2%の成功率を達成した。
• GPT-4においても67%の成功率を示し、より強力なモデルですら意味的レベルの脱獄に対して脆弱であることが示された。
• GPT-3.5-Turboでは失敗率が4.7%、GPT-4では2.2%にとどまり、この手法の高い信頼性が裏付けられた。
• 6言語すべてで攻撃が有効であったため、この脆弱性は英語限定のプロンプトに限定されないことが明らかになった。
• 7つの異なる仮想シナリオにおいても意味的ファイヤーウォールを効果的に回避できたため、多様な文脈にわたる強度が確認された。
• すべてのコードおよびデータのオープンソース化により、再現性が確保され、今後のAIアライメントおよびセーフティ分野の研究を支援できる。