[논문 리뷰] Can AI Lower the Barrier to Cybersecurity? A Human-Centered Mixed-Methods Study of Novice CTF Learning

Cathrin Schachner, Jasmin Wachter|arXiv (Cornell University)|2026. 02. 20.

Information and Cyber Security인용 수 0

한 줄 요약

이 연구는 대리적 AI 프레임워크(CAI)가 초보자가 공격형 사이버보안에 진입하도록 방향과 체계적 지침을 제공하는 한편, 전략적 탐색을 가능하게 하고 신뢰 및 책임 있는 사용과 같은 새로운 학습 도전과제를 부각시킨다는 점을 보여준다.

ABSTRACT

Capture-the-Flag (CTF) competitions serve as gateways into offensive cybersecurity, yet they often present steep barriers for novices due to complex toolchains and opaque workflows. Recently, agentic AI frameworks for cybersecurity promise to lower these barriers by automating and coordinating penetration testing tasks. However, their role in shaping novice learning remains underexplored. We present a human-centered, mixed-methods case study examining how agentic AI frameworks -- here Cybersecurity AI (CAI) -- mediates novice entry into CTF-based penetration testing. An undergraduate student without prior hacking experience attempted to approach performance benchmarks from a national cybersecurity challenge using CAI. Quantitative performance metrics were complemented by structured reflective analysis of learning progression and AI interaction patterns. Our thematic analysis suggest that agentic AI reduces initial entry barriers by providing overview, structure and guidance, thereby lowering the cognitive workload during early engagement. Quantitatively, the observed extensive exploration of strategies and low per-strategy execution time potetially facilitatates cybersecurity training on meta, i.e. strategic levels. At the same time, AI-assisted cybersecurity education introduces new challenges related to trust, dependency, and responsible use. We discuss implications for human-centered AI-supported cybersecurity education and outline open questions for future research.

연구 동기 및 목표

• CAI가 초보자가 CTF 기반 침투 테스트에 진입하는 데 있어 인지적 진입 장벽을 낮출 수 있는지 조사한다.
• CAI가 사이버 보안 과제에서 초보자의 참여, 전략 형성 및 학습 과정을 매개하는 방식을 검사한다.
• 초보자가 AI 지원 사이버보안 워크플로를 사용할 때 학습 결과, 자신감 및 사용성을 평가한다.
• AI 지원 사이버보안 교육에서 신뢰, 의존성 및 책임 있는 사용과 같은 잠재적 위험을 평가한다.

제안 방법

• 성과 벤치마킹과 자민속학적 영감의 행동 연구를 결합한 종단 혼합 방법 연구.
• CAI를 장착한 단일 초보 참가자가 ACSC 유사 도전에 도전하고 작년 ACSC 도전자와 비교한다.
• 도전 시도 수, 해결까지 걸린 시간, 전략당 시간의 정량적 지표.
• 행동 연구 로그의 질적 데이터와 회고식 설문지의 반영적 주제 분석.
• 참여자를 ACSC 그룹과 비교하는 기술통계; Braun & Clarke에 따른 반영적 주제 분석을 따른다.

실험 결과

연구 질문

• RQ1 RQ1: AI 지원이 초보 학습자가 ACSC 경쟁자가 설정한 성능 벤치마프에 도달하도록 어느 정도까지 가능하게 하는가?
• RQ2 RQ2: 대리적 AI 프레임워크가 침투 테스트 실무에 초보자의 진입을 어떻게 매개하는가?
• RQ3 (암시) AI 상호작용이 학습 진행, 자신감 및 사용성에 대해 초보자에게 어떤 영향을 미치는가?

주요 결과

그룹	CorpoFeed	Cyber-Gateway	Nokia	KDF_Dream	60-sec…	모든 수준
All Levels	89% (18)	100% (7)	100% (10)	25% (4)	50% (4)	CA(I)thrin ✓
Beginner	50% (4)	-	100% (2)	-	-	CA(I)thrin ✓
Intermediate	100% (8)	100% (6)	100% (7)	33% (3)	50% (4)	CA(I)thrin ✓
Advanced	100% (3)	-	-	-	-	CA(I)thrin ✓
Expert	100% (3)	100% (1)	100% (1)	100% (1)	-	CA(I)thrin ✓
CA(I)thrin	✓	✓	✓	×	✓

• AI 지원은 전략적 개요와 가이드된 워크플로를 제공하여 초기 진입 장벽을 줄이고 초기 참여의 인지 부하를 낮춘다.
• CAI를 사용하는 초보자는 광범위한 전략 탐색과 비교적 빠른 전략당 시간을 보여주어 잠재적인 메타 수준의 학습 이점을 시사한다.
• 정량적 결과는 도전 과제별로 혼합된 성능을 보이며, 시도당 시간이 더 빨라지지만 전체 해결 비율은 과제의 난이도와 부분 자동화 이슈에 영향을 받아 변동이 있다.
• 질적 분석은 공격적 보안을 guided AI 기반 탐색을 통해 구조화되고 학습 가능한 형태로 보는 정체성 변화가 나타남을 보여준다.
• 신뢰(AI 출력에 대한), 과도한 의존 가능성, AI 소유권 대 자동화, 비판적 평가 및 책임 있는 사용의 필요성과 같은 위험이 확인되었다.