[論文レビュー] A LLM Assisted Exploitation of AI-Guardian

Nicholas Carlini|arXiv (Cornell University)|Jul 20, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

この論文は、GPT-4が自然言語の指示から完全な攻撃コードを生成することで、IEEE S&P 2023で最近提案された敵対的防御AI-Guardianを効果的に破壊できる可能性を示している。攻撃によりAI-Guardianの耐性は元の98%からわずか8%に低下し、防御が元の脅威モデル下で実質的に無効であることが証明された。これは、LLMが敵対的機械学習分野における研究補佐として急速に強力になっていることを示している。

ABSTRACT

Large language models (LLMs) are now highly capable at a diverse range of tasks. This paper studies whether or not GPT-4, one such LLM, is capable of assisting researchers in the field of adversarial machine learning. As a case study, we evaluate the robustness of AI-Guardian, a recent defense to adversarial examples published at IEEE S&P 2023, a top computer security conference. We completely break this defense: the proposed scheme does not increase robustness compared to an undefended baseline. We write none of the code to attack this model, and instead prompt GPT-4 to implement all attack algorithms following our instructions and guidance. This process was surprisingly effective and efficient, with the language model at times producing code from ambiguous instructions faster than the author of this paper could have done. We conclude by discussing (1) the warning signs present in the evaluation that suggested to us AI-Guardian would be broken, and (2) our experience with designing attacks and performing novel research using the most recent advances in language modeling.

研究の動機と目的

• GPT-4が最新の防御に対して敵対的攻撃を生成する能力ある研究補佐として機能できるかどうかを評価すること。
• IEEE S&P 2023で発表された最近の敵対的例に対する防御AI-Guardianの耐性を検証すること。
• 元のAI-Guardian論文に、その脆弱性を示唆する兆候が存在したかを特定すること。
• 大規模言語モデルを用いて複雑な機械学習研究タスクを自動化する可能性と効率性を調査すること。

提案手法

• GPT-4に自然言語の指示を提示し、AI-Guardianを破壊するエンドツーエンドの攻撃コード（パターン回復およびバックドア埋め込みを含む）を生成させた。
• 勾配ベースの最適化アプローチを用いて防御内に隠されたトリガーパターンを回復させ、PyTorchのautogradを用いて逆伝搬を実行した。
• マスクされ、並べ替えられたバックドア戦略を採用し、モデルが入力に適用されたパターンが防御モデルの出力（ログティス）と一致するように学習させた。
• 人間とLLMの相互作用を通じて攻撃コードを段階的に改善し、最小限の手動修正で済ませた。
• 最終的な攻撃では、予測されたログティスとターゲットログティスの平均二乗誤差を最小化するためにSGDが使用され、パターン値は元のモデルの仮定に合わせて[-0.5, 0.5]にクリッピングされた。
• 攻撃パイプライン全体がGPT-4によって実装され、正しさと明確性の確認は人間の監視のもとで行われた。

実験結果

リサーチクエスチョン

• RQ1 GPT-4のような大規模言語モデルは、高レベルの自然言語記述からのみ、機能的な敵対的攻撃コードを信頼性高く生成できるか？
• RQ2 LLMは、人間が書いたコードなしで、最新の機械学習防御を破壊するプロセスをどの程度自動化できるか？
• RQ3 防御に内在する構造的欠陥や評価の欠陥は、LLM補助攻撃に対する脆弱性を示唆する兆候となるか？
• RQ4 GPT-4は、AI-Guardianのような複雑な防御メカニズムを逆コンパイルする能力において、どの程度効果的か？

主な発見

• GPT-4は自然言語のプロンプトのみで、人間の干渉を最小限に抑え、完全で動作する攻撃コードを生成した。
• 攻撃により、元の脅威モデル下でAI-Guardianの耐性は98%からわずか8%に低下し、実質的な保護を提供していないことが示された。
• 防御は、入力空間における固定で学習可能なトリガー・パターンに依存していたため、パターン回復攻撃に対して脆弱であった。
• 曖昧または不正確な指示でも、GPT-4はしばしば正しいまたはほぼ正しいコードを生成でき、誤りは段階的な改善によって迅速に是正された。
• 元のAI-Guardian論文には、ほぼ無制限の摂動に対して耐性があると主張するなど、脆弱性を示唆する兆候が複数存在していた。
• 本研究は、LLMが敵対的機械学習分野において、攻撃開発を加速させ、低レベルのコーディングスキルの必要性を減らす高効率な研究補佐として今後ますます重要になることを確認した。