[論文レビュー] Can AI Lower the Barrier to Cybersecurity? A Human-Centered Mixed-Methods Study of Novice CTF Learning

Cathrin Schachner, Jasmin Wachter|arXiv (Cornell University)|Feb 20, 2026

Information and Cyber Security被引用数 0

ひとこと要約

要約: 研究は、エージェント型AIフレームワーク（CAI）が初心者のオフェンス系サイバーセキュリティ入りを支援し、方向性と構造化された指導を提供しつつ、戦略的探究を可能にし、信頼と責任ある使用といった新たな学習課題を浮き彫りにすることを示している。

ABSTRACT

Capture-the-Flag (CTF) competitions serve as gateways into offensive cybersecurity, yet they often present steep barriers for novices due to complex toolchains and opaque workflows. Recently, agentic AI frameworks for cybersecurity promise to lower these barriers by automating and coordinating penetration testing tasks. However, their role in shaping novice learning remains underexplored. We present a human-centered, mixed-methods case study examining how agentic AI frameworks -- here Cybersecurity AI (CAI) -- mediates novice entry into CTF-based penetration testing. An undergraduate student without prior hacking experience attempted to approach performance benchmarks from a national cybersecurity challenge using CAI. Quantitative performance metrics were complemented by structured reflective analysis of learning progression and AI interaction patterns. Our thematic analysis suggest that agentic AI reduces initial entry barriers by providing overview, structure and guidance, thereby lowering the cognitive workload during early engagement. Quantitatively, the observed extensive exploration of strategies and low per-strategy execution time potetially facilitatates cybersecurity training on meta, i.e. strategic levels. At the same time, AI-assisted cybersecurity education introduces new challenges related to trust, dependency, and responsible use. We discuss implications for human-centered AI-supported cybersecurity education and outline open questions for future research.

研究の動機と目的

• エージェント型AIが初心者のCTFベースの侵入テストへの認知的参入障壁を低減できるかを調査する。
• CAIが初心者のエンゲージメント、戦略形成、学習プロセスを仲介する方法を検討する。
• 初心者がAI支援のサイバーセキュリティワークフローを用いたときの学習成果、自信、使いやすさを評価する。
• AI支援サイバーセキュリティ教育における信頼、依存、責任ある使用といった潜在的リスクを評価する。

提案手法

• パフォーマンスベンチマークと自己 ethnography に基づくアクションリサーチを組み合わせた縦断混合研究。
• CAIを搭載した単一の初心者参加者がACSC風の課題に取り組み、昨年のACSC挑戦者と比較する。
• 挑戦試行、解決までの時間、戦略ごとの時間の定量的測定。
• アクションリサーチのログと retrospective questionnaire の反省的テーマ分析による定性的データ。
• ACS Cグループに対する参加者の位置づけを示す記述統計；Braun & Clarke に従う反省的テーマ分析。

実験結果

リサーチクエスチョン

• RQ1 RQ1: AI支援は、初心者学習者がACSC競技者によって設定されたパフォーマンスベンチマークにどの程度近づけるか。
• RQ2 RQ2: エージェント型AIフレームワークは、初心者の侵入テスト実践への仲介をどのように行うか。
• RQ3 （含意）AIとの相互作用は、初心者の学習進行、自信、使いやすさをどのように形成するか。

主な発見

グループ	CorpoFeed	Cyber-Gateway	Nokia	KDF_Dream	60-sec…	All Levels
All Levels	89% (18)	100% (7)	100% (10)	25% (4)	50% (4)	CA(I)thrin ✓
Beginner	50% (4)	-	100% (2)	-	-	CA(I)thrin ✓
Intermediate	100% (8)	100% (6)	100% (7)	33% (3)	50% (4)	CA(I)thrin ✓
Advanced	100% (3)	-	-	-	-	CA(I)thrin ✓
Expert	100% (3)	100% (1)	100% (1)	100% (1)	-	CA(I)thrin ✓
CA(I)thrin	✓	✓	✓	×	✓

• AI支援は、戦略的概観とガイド付きワークフローを提供することで初期の参入障壁を低減し、初期の認知負荷を軽減する。
• CAIを使用した初心者は広範な戦略探索と戦略ごとの解決時間が比較的速く、メタレベルの訓練潜在を示唆する。
• 定量的結果は、挑戦ごとにパフォーマンスがまちまちで、試行ごとの時間は速いものの、全体の解決率は課題の難易度と部分自動化の課題に影響される。
• 定性的分析は、指導付きのAIによる探索を通じて、攻撃的セキュリティを構造化され学習可能とみなすアイデンティティの変化を示す。
• 識別されたリスクには、AI出力への信頼、過度の依存の可能性、AI所有権と自動化の区別、批判的評価と責任ある使用の必要性が含まれる。