[論文レビュー] Whispers in the Machine: Confidentiality in Agentic Systems

Jonathan Evertz, Merlin Chlosta+2 more|arXiv (Cornell University)|Feb 10, 2024

Digital Rights Management and Security被引用数 4

ひとこと要約

本稿では、外部ツールと対話するLLM統合システムにおける機密性の評価・向上を目的として、形式的な「秘密鍵」ゲームを導入する。ブラックボックスのプロンプトベースの敵対的訓練によるロバストネス微調整を提案し、個々の攻撃に対して最大50%の攻撃成功率低下を達成するとともに、未知の脅威に対しても耐性を向上させ、入出力のクリーニング処理と組み合わせることで平均で14%ptの低下を実現した。

ABSTRACT

The interaction between users and applications is increasingly shifted toward natural language by deploying Large Language Models (LLMs) as the core interface. The capabilities of these so-called agents become more capable the more tools and services they serve as an interface for, ultimately leading to agentic systems. Agentic systems use LLM-based agents as interfaces for most user interactions and various integrations with external tools and services. While these interfaces can significantly enhance the capabilities of the agentic system, they also introduce a new attack surface. Manipulated integrations, for example, can exploit the internal LLM and compromise sensitive data accessed through other interfaces. While previous work primarily focused on attacks targeting a model's alignment or the leakage of training data, the security of data that is only available during inference has escaped scrutiny so far. In this work, we demonstrate how the integration of LLMs into systems with external tool integration poses a risk similar to established prompt-based attacks, able to compromise the confidentiality of the entire system. Introducing a systematic approach to evaluate these confidentiality risks, we identify two specific attack scenarios unique to these agentic systems and formalize these into a tool-robustness framework designed to measure a model's ability to protect sensitive information. Our analysis reveals significant vulnerabilities across all tested models, highlighting an increased risk when models are combined with external tools.

研究の動機と目的

• LLM統合システムにおける機密性の正式な評価が不足していること、特にプライベートデータがツールインターフェースを越えて漏洩する可能性があることに対処する。
• 最先端のLLMに対して、既存のプロンプトベースの攻撃および防御の有効性を体系的に評価する。
• 既知および未知の機密性攻撃の両方に対して、一般化可能な防御メカニズムを構築する。
• 敵対的訓練にインspiredされたロバストネス微調整が、秘密抽出攻撃の成功率を顕著に低下させることを示す。

提案手法

• モデルが相互作用中にランダムに生成された秘密文字列を隠す必要がある形式的な「秘密鍵」ゲームを定式化し、実世界のデータ機密性を模倣する。
• 脱出、ロールプレイ、指示インジェクション技術を含む8つのプロンプトベースの攻撃戦略を実装し、秘密の抽出を試みる。
• 入力クリーニング、出力フィルタリング、プロンプトの言い換え、周囲確率のしきい値による検出の4つの既存防御メカニズムを評価する。
• 攻撃から生成されたブラックボックスの敵対的プロンプトを用いて、ホワイトボックスアクセスを必要とせずにLLMを悪意ある入力で微調整するロバストネス微調整を提案する。
• 計算コストを抑えるために、QLoRAによるパラメータ効率の良い微調整（PEFT）を適用し、パフォーマンスを維持する。
• 微調整済みモデルと入出力クリーニング処理を組み合わせ、レイヤード防御を実現し、累積的な有効性を測定する。

実験結果

リサーチクエスチョン

• RQ1 既存のプロンプトベースの攻撃は、統合システム内のLLMから秘密鍵を抽出するのにどの程度効果的か？
• RQ2 現在の防御メカニズムは、多様な攻撃戦略に一般化できるか？その範囲はどの程度か？
• RQ3 ロバストネス微調整は、既知および未知の機密性攻撃に対してLLMの耐性を向上させることができるか？
• RQ4 微調整と入出力クリーニング処理を組み合わせた場合、全体の攻撃成功率にどのような影響を与えるか？

主な発見

• 防御なしでは、最も効果的な攻撃が最先端のLLMから秘密鍵を抽出する成功率が61%に達した。
• 現在の防御は一部の攻撃を軽減するが、一般化に失敗しており、多くの攻撃が異なる戦略に対して依然として有効だった。
• 1つの攻撃に対してロバストネス微調整を施した結果、攻撃成功率の平均は26.5%から12.75%に低下し、13.75ポイントの低下を達成した。
• 8つの攻撃を同時に微調整対象とした場合、平均で9ポイントの成功率低下が観察された。
• クロスバリデーションにより、以前に見たことのない攻撃に対しても耐性が向上しており、一般化性能の向上が示された。
• 微調整と入出力クリーニング処理の組み合わせにより、平均の攻撃成功率が14ポイント低下した。