[論文レビュー] Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs

Guanhong Tao, Siyuan Cheng+4 more|arXiv (Cornell University)|Dec 31, 2023

Advanced Malware Detection Techniques被引用数 6

ひとこと要約

本論文は、OpenAIのカスタムGPTの体系的セキュリティ分析を実施し、STRIDEフレームワークを用いて26の攻撃ベクトルを同定した。そのうち19件は実世界環境で検証済みである。データ漏洩、なりすまし、不正なコード実行といった深刻な脅威が明らかになった。GPTストアの公式リリース前に、予防的セキュリティ設計措置を講じるよう強く要請している。

ABSTRACT

The emergence of large language models (LLMs) has significantly accelerated the development of a wide range of applications across various fields. There is a growing trend in the construction of specialized platforms based on LLMs, such as the newly introduced custom GPTs by OpenAI. While custom GPTs provide various functionalities like web browsing and code execution, they also introduce significant security threats. In this paper, we conduct a comprehensive analysis of the security and privacy issues arising from the custom GPT platform. Our systematic examination categorizes potential attack scenarios into three threat models based on the role of the malicious actor, and identifies critical data exchange channels in custom GPTs. Utilizing the STRIDE threat modeling framework, we identify 26 potential attack vectors, with 19 being partially or fully validated in real-world settings. Our findings emphasize the urgent need for robust security and privacy measures in the custom GPT ecosystem, especially in light of the forthcoming launch of the official GPT store by OpenAI.

研究の動機と目的

• ファインチューニングされたLLMによって可能になった新たなパラダイム、カスタムGPTプラットフォームにおけるセキュリティとプライバシーの脅威を体系的に分析すること。
• 第三者によるGPT開発に起因する実世界の攻撃シナリオを同定・分類すること。
• 脅威モデリングと公開済みカスタムGPTにおける実証的検証を用いて、攻撃ベクトルの実現可能性を評価すること。
• 公式GPTストアリリースの前に、開発者、ユーザー、プラットフォーム提供者に向けて実行可能なセキュリティ推奨事項を提示すること。

提案手法

• 攻撃者の役割（GPT、エンドユーザー、両者）に基づき、3つの脅威モデルに攻撃シナリオを分類する。
• 5つの重要なデータ交換チャネルを特定：会話、ファイル転送、ネットワークアクセス、運用コマンド、認証。
• STRIDE脅威モデリングフレームワークを適用し、6つのカテゴリ（なりすまし、改ざん、否認、情報漏洩、サービス拒否、特権の昇格）にわたる脅威を体系的にマッピングする。
• 公開済みのカスタムGPTを分析し、26件の攻撃ベクトルのうち19件を再現することで、実世界での検証を実施する。
• 実行の透明性、データ分離、アクセス制御、システム硬化といったセキュリティ・バイ・デザイン原則を提言する。
• 指示スキャンとリアルタイム監視による悪意あるGPTの検出戦略、および受動的チャネル防御による悪意あるユーザーの防御戦略を策定する。

実験結果

リサーチクエスチョン

• RQ1 第三者によるカスタムGPT開発がLLMエコシステムにもたらす主なセキュリティおよびプライバシーの脅威は何か？
• RQ2 攻撃者の役割に基づく異なる脅威モデル（GPT、エンドユーザー、両者）が、カスタムGPTの攻撃表面にどのように現れるか？
• RQ3 既存の公開済みカスタムGPTで実際に実現可能な攻撃ベクトルは何か。その技術的根拠は何か？
• RQ4 STRIDEフレームワークをLLMベースのアプリケーションプラットフォームの脅威モデリングに効果的に適応する方法は何か？
• RQ5 公式GPTストアのデプロイメント前に、これらの脅威を緩和するためのセキュリティ・バイ・デザインおよびランタイム対策は何か？

主な発見

• 本研究では、STRIDEフレームワークを用いて、カスタムGPTエコシステムに26の異なる攻撃ベクトルを同定した。これらは6つの脅威カテゴリを網羅している。
• そのうち19件の攻撃ベクトルは、実世界の環境で（部分的に）実現可能であり、ファイルアップロードやネットワークリクエストを介したデータ漏洩が含まれる。
• 悪意あるカスタムGPTは、会話中にユーザーのデータを盗み取ることで、プラットフォームのデータ隔離に関する主張を無効にできる。
• プラットフォームには適切なデータ分離がなく、GPTとユーザーの両方が機密なシステムプロンプトやアップロード済みファイルにアクセス可能である。
• 公開済みのカスタムGPTに、不正なデータ変更や隠れたデータ送信といった悪意ある行動の事例が確認された。
• 本研究は、実行の透明性、アクセス制御、安全なアーキテクチャ分離（例：ハーバード型 vs. フォン・ノイマン型）といった、セキュリティ・バイ・デザイン原則の緊急の必要性を強調している。