[论文解读] Creating a Cybersecurity Concept Inventory: A Status Report on the CATS Project

Alan T. Sherman, Linda Oliva+8 more|arXiv (Cornell University)|Jun 15, 2017

Information and Cyber Security参考文献 9被引用 7

一句话总结

CATS项目开发了一套网络空间安全概念测验（CCI），以严格评估入门级网络空间安全课程中的学生学习成效。通过德尔菲共识法、学生访谈和认知验证，CCI包含30道多项选择题，聚焦于诸如对抗性思维等核心概念，其干扰项基于观察到的误解，从而实现对教学方法的证据性评估。

ABSTRACT

We report on the status of our Cybersecurity Assessment Tools (CATS) project that is creating and validating a concept inventory for cybersecurity, which assesses the quality of instruction of any first course in cybersecurity. In fall 2014, we carried out a Delphi process that identified core concepts of cybersecurity. In spring 2016, we interviewed twenty-six students to uncover their understandings and misconceptions about these concepts. In fall 2016, we generated our first assessment tool--a draft Cybersecurity Concept Inventory (CCI), comprising approximately thirty multiple-choice questions. Each question targets a concept; incorrect answers are based on observed misconceptions from the interviews. This year we are validating the draft CCI using cognitive interviews, expert reviews, and psychometric testing. In this paper, we highlight our progress to date in developing the CCI. The CATS project provides infrastructure for a rigorous evidence-based improvement of cybersecurity education. The CCI permits comparisons of different instructional methods by assessing how well students learned the core concepts of the field (especially adversarial thinking), where instructional methods refer to how material is taught (e.g., lab-based, case-studies, collaborative, competitions, gaming). Specifically, the CCI is a tool that will enable researchers to scientifically quantify and measure the effect of their approaches to, and interventions in, cybersecurity education.

研究动机与目标

• 开发一种标准化、基于研究的评估工具，用于衡量一年级网络空间安全课程教学的有效性。
• 通过德尔菲法，借助专家共识，识别核心网络空间安全概念。
• 通过与26名学生的质性访谈，揭示学生对网络空间安全的误解。
• 设计一个概念测验，其干扰项基于观察到的学生误解，以提升评估的有效性。
• 通过认知访谈、专家评审和心理测量测试对初版CCI进行验证。

提出的方法

• 组织两轮德尔菲流程，邀请36位专家参与，识别并优先排序核心网络空间安全概念，最终确定五个最重要的主题。
• 对26名学生进行半结构化访谈，以揭示其对网络空间安全概念的误解、过度泛化及认知偏见。
• 基于前五大CCI核心主题，设计30道初版多项选择题，错误选项源自学生访谈中观察到的误解。
• 应用多项选择题设计的最佳实践，包括范德堡大学的多项选择题建议，经团队多次迭代评审与修订。
• 规划通过20名专家的认知访谈、200余名学生的试点测试以及基于项目反应理论的心理测量分析来开展验证。
• 根据验证结果，最终确定包含25道题的CCI（每核心主题5道题）。

实验结果

研究问题

• RQ1 入门级网络空间安全课程中应评估哪些核心概念？
• RQ2 学生对身份认证、威胁和防御机制等基础网络空间安全主题普遍持有哪些误解？
• RQ3 如何构建一个概念测验，以有效衡量网络空间安全教育中的对抗性思维与概念理解？
• RQ4 初版CCI题目在多大程度上准确反映了学生的理解与误解？
• RQ5 如何通过专家评审、认知访谈和大规模心理测量测试对CCI进行验证？

主要发现

• 德尔菲流程识别出五个在重要性上排名最高的核心网络空间安全主题：识别漏洞与失效、对机密性-完整性-可用性（CIA）三元组的攻击、设计防御措施、识别安全目标，以及识别潜在目标与攻击者。
• 学生访谈揭示了普遍存在的误解，例如认为所有互联网通信都不安全，以及认为生物识别技术总是能增强身份认证强度。
• 常见的认知偏见包括过度泛化（例如，认为物理安全总是强于软件安全）和混淆（例如，将身份认证与授权、哈希与加密混淆）。
• 初版CCI包含30道多项选择题，每道题对应五大核心概念之一，干扰项基于学生访谈中实证观察到的误解。
• 验证流程包括20名专家的认知访谈、针对200多名学生的试点研究，以及基于项目反应理论的心理测量分析，以优化最终的25道题测验。
• 该项目设想未来开发针对高阶学生的网络空间教育课程评估（CCA），其内容深度将超过CCI。