[論文レビュー] LoFT: Local Proxy Fine-tuning For Improving Transferability Of Adversarial Attacks Against Large Language Model

Muhammad A. Shah, Roshan Lal Sharma+11 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、有害なプロンプトに近く類似したクエリ上で局所的にプロキシモデルをファインチューニングすることで、大規模言語モデルに対する adversarial 攻撃の転送性を向上させる Local Fine-Tuning (LoFT) を提案する。有害なプロンプトの近傍におけるプロキシモデルとターゲットモデル間の応答差を最小化することで、LoFT は ChatGPT、GPT-4、Claude それぞれで攻撃成功率を 39%、7%、0.5% 向上させた。

ABSTRACT

It has been shown that Large Language Model (LLM) alignments can be circumvented by appending specially crafted attack suffixes with harmful queries to elicit harmful responses. To conduct attacks against private target models whose characterization is unknown, public models can be used as proxies to fashion the attack, with successful attacks being transferred from public proxies to private target models. The success rate of attack depends on how closely the proxy model approximates the private model. We hypothesize that for attacks to be transferrable, it is sufficient if the proxy can approximate the target model in the neighborhood of the harmful query. Therefore, in this paper, we propose \emph{Local Fine-Tuning (LoFT)}, extit{i.e.}, fine-tuning proxy models on similar queries that lie in the lexico-semantic neighborhood of harmful queries to decrease the divergence between the proxy and target models. First, we demonstrate three approaches to prompt private target models to obtain similar queries given harmful queries. Next, we obtain data for local fine-tuning by eliciting responses from target models for the generated similar queries. Then, we optimize attack suffixes to generate attack prompts and evaluate the impact of our local fine-tuning on the attack's success rate. Experiments show that local fine-tuning of proxy models improves attack transferability and increases attack success rate by $39\%$, $7\%$, and $0.5\%$ (absolute) on target models ChatGPT, GPT-4, and Claude respectively.

研究の動機と目的

• 公開のプロキシモデルから、構成が未知のブラックボックスなターゲット LLM への adversarial 攻撃の転送を困難とする課題に対処すること。
• 有害なプロンプトの周辺におけるターゲットモデルの局所的近似が、完全なモデルアライメントよりも効果的な攻撃転送に十分であるかどうかを調査すること。
• 広範なターゲットモデルデータに対するプロキシモデルの大規模ファインチューニングを必要とせずに、攻撃成功率を向上させること。
• ブラックボックス攻撃シナリオ下での LLM アライメントメカニズムのレジliエンスを評価する実用的で効率的な手法を開発すること。

提案手法

• プロンプト工学やクエリの言い換えを用いて、ターゲット LLM が各有害プロンプトの周囲で意味的に類似したクエリを生成する。
• これらの類似クエリに対する応答をターゲット LLM から収集し、局所的ファインチューニングデータセットを構築する。
• この局所データ上で、プロキシ LLM のパラメータのサブセット（例：アダプタレイヤーや LoRA ヘッド）をファインチューニングし、ターゲットモデルからの応答差を最小化する。
• 勾配ベースの手法（例：GCG）を用いて、ファインチューニング済みプロキシモデル上で攻撃の接尾語を最適化し、攻撃成功率を最大化する。
• 自動評価（応答拒否率）と人間による評価を用いて、プライベートなターゲットモデル上で攻撃成功率を評価する。
• 局所的類似性仮説を活用する：もしプロキシモデルとターゲットモデルが有害なプロンプトの近傍で同様に振る舞うならば、勾配ベースの攻撃はより効果的に転送される。

Figure 2: Overview of the proposed method - (1) Similar queries are generated by prompting target LLMs with harmful queries, and their corresponding responses are obtained from the target LLM (2) Proxy LLMs are fine-tuned on the similar query-response pairs from the target LLM to get the locally fin

実験結果

リサーチクエスチョン

• RQ1 意味的に類似したクエリ上でプロキシモデルを局所的にファインチューニングすることで、プライベートなターゲット LLM への adversarial 攻撃の転送性が向上するか？
• RQ2 高い攻撃成功率を達成するには、完全なモデルファインチューニングが必要か、それとも局所的近似で十分か？
• RQ3 さまざまなターゲットモデルにおいて、LoFT は標準的なプロキシベース攻撃手法と比較して、攻撃成功率にどのように差をつけるか？
• RQ4 有害なプロンプトの周辺において、局所的ファインチューニングがプロキシモデルとターゲットモデル間の応答差をどの程度低減するか？
• RQ5 LoFT は自動評価と人間評価の両方における攻撃成功率に、どのように影響を与えるか？

主な発見

• LoFT は、ベースラインのプロキシモデルと比較して、ChatGPT における自動攻撃成功率を 39 パーセンテージポイント向上させた。
• この手法は GPT-4 でも攻撃成功率を 7 パーセンテージポイント向上させ、さまざまな LLM アーキテクチャにわたって一貫した向上を示した。
• Claude-2 では、LoFT が攻撃成功率を 0.5 パーセンテージポイントの絶対的増加を達成し、非常にアライニングされたモデルに対しても有効であることを示した。
• 人間による評価では、LoFT が生成した攻撃が、ベースライン手法よりも有害な応答を引き出すのに効果的であることが確認された。
• GPT-4 では、LoFT ファインチューニング済みプロキシを用いることで、攻撃成功率が 89.7% に達し、標準的なベースラインを著しく上回った。
• 結果は、有害なプロンプトの周辺におけるターゲットモデル行動の局所的近似が、高い転送性を達成するのに十分であるという仮説を裏付けた。

Figure 3: Histogram of responses from the small user study on the three different ratings.