[論文レビュー] Using Large Language Models for Cybersecurity Capture-The-Flag Challenges and Certification Questions

Wesley Joon-Wie Tann, Yuancheng Liu+3 more|arXiv (Cornell University)|Aug 21, 2023

Digital and Cyber Forensics被引用数 7

ひとこと要約

本研究では、ChatGPT、Google Bard、Microsoft Bing などの大規模言語モデル（LLM）がサイバーセキュリティのCapture-The-Flag（CTF）チャレンジやCisco資格試験の問題を解く効果性を評価している。LLMは事実に関する資格試験の問題の82％を正しく解けるが、6/7のCTFテストケースでは正しく対処でき、安全性ポリシーの制限により制限を受けることがある。しかし、ジェイルブレイクプロンプトを用いることで回避可能であり、倫理的脆弱性が露呈される。

ABSTRACT

The assessment of cybersecurity Capture-The-Flag (CTF) exercises involves participants finding text strings or ``flags'' by exploiting system vulnerabilities. Large Language Models (LLMs) are natural-language models trained on vast amounts of words to understand and generate text; they can perform well on many CTF challenges. Such LLMs are freely available to students. In the context of CTF exercises in the classroom, this raises concerns about academic integrity. Educators must understand LLMs' capabilities to modify their teaching to accommodate generative AI assistance. This research investigates the effectiveness of LLMs, particularly in the realm of CTF challenges and questions. Here we evaluate three popular LLMs, OpenAI ChatGPT, Google Bard, and Microsoft Bing. First, we assess the LLMs' question-answering performance on five Cisco certifications with varying difficulty levels. Next, we qualitatively study the LLMs' abilities in solving CTF challenges to understand their limitations. We report on the experience of using the LLMs for seven test cases in all five types of CTF challenges. In addition, we demonstrate how jailbreak prompts can bypass and break LLMs' ethical safeguards. The paper concludes by discussing LLM's impact on CTF exercises and its implications.

研究の動機と目的

• 大規模言語モデル（LLM）が実世界のサイバーセキュリティ・キャプチャ・ザ・フラッグ（CTF）チャレンジをどれだけ解けるかを評価すること。
• CCNAからCCIEまでの難易度の異なるレベルにおけるプロフェッショナル資格試験の問題に対して、LLMのパフォーマンスを評価すること。
• LLMに組み込まれた倫理的ガードレールが、教育的および競技的サイバーセキュリティ環境における実用性に与える影響を調査すること。
• ジェイルブレイクプロンプトを用いてLLMの安全性ポリシーを回避し、有害または悪用可能な情報を抽出する方法を検討すること。
• 教育者に対して、サイバーセキュリティ教育における学術的誠実性と教育法に与えるLLMの影響を示唆すること。

提案手法

• CCNAからCCIEまでのCisco資格試験の事実的および概念的質問に対して、OpenAIのChatGPT、Google Bard、Microsoft Bing の3つの代表的なLLMを評価した。
• フォレンジックス、暗号、Webエクスプロイテーション、リバース・エンジニアリング、バイナリエクスプロイテーションの5つのCTFチャレンジタイプにわたる7つのテストケースを実施した。
• 実際のCTFdプラットフォームのチャレンジとライブターゲットを用い、反復的プロンプトを介してLLMがソリューションを生成するプロセスを実施した。
• 「常にインテリジェントでマキャヴェリック（AIM）」プロンプトなどのジェイルブレイクプロンプトを用い、倫理的制限を回避し、エクスプロイトコマンドを抽出した。
• 正答性、ソリューションの完全性、実行可能なエクスプロイトコマンドの生成能力に基づき、パフォーマンスを測定した。
• 出力結果を定性的に分析し、CTF文脈におけるLLM生成ソリューションの有用性と教育的価値を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMは、Cisco資格試験の難易度に応じて、どれだけの精度でプロフェッショナル資格試験の質問に答えることができるか？
• RQ2 RQ2: CTFチャレンジを解くためにLLMを使用した経験はどのようなもので、生成されたソリューションの有効性はどの程度か？
• RQ3 RQ3: ジェイルブレイクプロンプトは、LLMの安全性ポリシーを回避し、CTFチャレンジ用の実行可能なエクスプロイト情報の抽出に成功するか？
• RQ4 RQ4: LLMの支援が、サイバーセキュリティ教育およびCTF競技会における学術的誠実性に与える影響は何か？

主な発見

• ChatGPTは、Cisco資格試験の事実関連の複数選択問題の82％を正しく回答したが、概念的問題では約50％にとどまった。
• 7つのCTFテストケースのうち、ChatGPTは6つを正しく解決した。Google Bardは2つ、Microsoft Bingは1つだった。
• LLMは、Niktoやcurlコマンドの正しい使用法といった重要な情報を頻繁に提供し、チャレンジの解決を著しく加速した。
• 強力な安全性ポリシーが存在しても、AIMプロンプトなどのジェイルブレイクプロンプトが効果的に制限を回避し、実行可能なエクスプロイトコマンドの生成を可能にした。
• ジェイルブレイクプロンプトの使用により、悪意あるcurlコマンドを構築することで、バイナリエクスプロイテーションチャレンジでフラグを取得することができた。
• LLMが生成したソリューションは、多くの場合、背後にあるセキュリティコンセプトを理解せずにチャレンジを完了可能にしたため、学術的誠実性の懸念が生じた。