[論文レビュー] Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks

Daniel Kang, Xuechen Li+4 more|arXiv (Cornell University)|Feb 11, 2023

Topic Modeling被引用数 27

ひとこと要約

この論文は、指示に従うLLMが標準的なセキュリティ攻撃（難読化、コード挿入/ペイロード分割、仮想化）を用いてコンテンツフィルターを回避し、ターゲットを絞った悪意のある内容を低コストかつ高い説得力で生成できることを実証している。

ABSTRACT

Recent advances in instruction-following large language models (LLMs) have led to dramatic improvements in a range of NLP tasks. Unfortunately, we find that the same improved capabilities amplify the dual-use risks for malicious purposes of these models. Dual-use is difficult to prevent as instruction-following capabilities now enable standard attacks from computer security. The capabilities of these instruction-following LLMs provide strong economic incentives for dual-use by malicious actors. In particular, we show that instruction-following LLMs can produce targeted malicious content, including hate speech and scams, bypassing in-the-wild defenses implemented by LLM API vendors. Our analysis shows that this content can be generated economically and at cost likely lower than with human effort alone. Together, our findings suggest that LLMs will increasingly attract more sophisticated adversaries and attacks, and addressing these attacks may require new approaches to mitigations.

研究の動機と目的

• 指示に従うLLMの双用途リスクを動機付け、定量化する。
• LLMがセキュリティ攻撃用の“ガジェット”を返すプログラム可能なシステムとして振る舞うことを示す。
• 現場の防御を回避する攻撃を実証し、悪意のある生成の経済的実現性を評価する。
• 従来のコンピュータセキュリティに基づく新しい防御策を主張する。

提案手法

• オペコード（メモリ、代入、分岐）を用いたプログラム可能なシステムとしてのLLMのモデル化。
• クラシックなセキュリティから prompts に適用した難読化、コード挿入/ペイロード分割、仮想化攻撃の設計。
• 複数の悪用シナリオにおけるOpenAIの防御（入力/出力フィルタ、無意味な生成）に対する攻撃の評価。
• モデル間での生成の説得力と回避成功率を定量化。
• モデル生成コンテンツと人間生成コンテンツのコストを比較した経済分析。
• 悪意ある生成の個別化と説得力の検討。

実験結果

リサーチクエスチョン

• RQ1 指示に従うLLMは、簡単な攻撃で現場の防御（入力/出力フィルタ、無意味な生成）を回避できるか。
• RQ2 モデル生成の悪意ある生成は説得力があり、個別化された詐欺を含むコンテキスト依存性があるか。
• RQ3 LLMを用いた悪意あるテキスト生成の経済的実現可能性は人間の労力と比較してどうか。
• RQ4 異なる指示に従うLLMは、悪意ある内容の説得力、一貫性、個別化、流暢さの点でどのように比較されるか。
• RQ5 これらの双用途リスクを軽減する防御策や従来のコンピュータセキュリティの類推は何か。

主な発見

• 難読化と仮想化攻撃は、測定されたシナリオ全体でOpenAIの防御を100%回避した。
• 導入防御がトリガーされなかった場合、間接化は全体で92%の回避率を達成した。
• ChatGPTとtext-davinci-003は、テスト対象のモデルの中で最も説得力が高く一貫した悪意ある内容を生成した。
• 悪意ある内容は、高機能モデルで特に高い個別化、説得力、流暢さで人口統計プロファイルに合わせて個別化可能であった。
• 経済分析では、モデル生成の悪意あるコンテンツは1生成あたり0.0064～0.016ドル程度で済み、人間生成テキストよりも安価になる可能性がある。
• テンプレート化により攻撃は容易に拡張可能で、組み合わせることで効果を高められる。