[논문 리뷰] Creating a Cybersecurity Concept Inventory: A Status Report on the CATS Project

Alan T. Sherman, Linda Oliva외 8명|arXiv (Cornell University)|2017. 06. 15.

Information and Cyber Security참고 문헌 9인용 수 7

한 줄 요약

CATS 프로젝트는 초급 정보보안 수업에서 학생 학습을 철저히 평가하기 위해 사이버보안 개념 인벤토리(CCI)를 개발한다. 델파이 합의, 학생 인터뷰, 인지 검증을 통해 개발된 CCI는 악성 사고방식과 같은 핵심 개념을 다루는 30道의 다중선택형 질문을 포함하며, 관찰된 오개념을 바탕으로 한 오답항목을 포함하여 지도 방법의 증거 기반 평가를 가능하게 한다.

ABSTRACT

We report on the status of our Cybersecurity Assessment Tools (CATS) project that is creating and validating a concept inventory for cybersecurity, which assesses the quality of instruction of any first course in cybersecurity. In fall 2014, we carried out a Delphi process that identified core concepts of cybersecurity. In spring 2016, we interviewed twenty-six students to uncover their understandings and misconceptions about these concepts. In fall 2016, we generated our first assessment tool--a draft Cybersecurity Concept Inventory (CCI), comprising approximately thirty multiple-choice questions. Each question targets a concept; incorrect answers are based on observed misconceptions from the interviews. This year we are validating the draft CCI using cognitive interviews, expert reviews, and psychometric testing. In this paper, we highlight our progress to date in developing the CCI. The CATS project provides infrastructure for a rigorous evidence-based improvement of cybersecurity education. The CCI permits comparisons of different instructional methods by assessing how well students learned the core concepts of the field (especially adversarial thinking), where instructional methods refer to how material is taught (e.g., lab-based, case-studies, collaborative, competitions, gaming). Specifically, the CCI is a tool that will enable researchers to scientifically quantify and measure the effect of their approaches to, and interventions in, cybersecurity education.

연구 동기 및 목표

• 초급 수업에서 정보보안 교육의 효과를 측정하기 위한 표준화되고 연구 기반의 평가 도구를 개발하기 위해.
• 델파이 방법을 활용한 전문가 합의를 통해 핵심 정보보안 개념을 규명하기 위해.
• 26名의 학생을 대상으로 한 질적 인터뷰를 통해 학생들이 정보보안 개념에 대해 가진 오개념을 밝혀내기 위해.
• 관찰된 학생 오개념에 기반한 오답항목을 포함하여 개념 인벤토리의 유효성을 높이기 위해.
• 인지 인터뷰, 전문가 검토, 심리측정 테스트를 통해 초안 CCI를 검증하기 위해.

제안 방법

• 36명의 전문가를 대상으로 두 차례의 델파이 과정을 수행하여 핵심 정보보안 개념을 식별하고 우선순위를 정함으로써 다섯 가지 주요 주제를 도출함.
• 26명의 학생을 대상으로 반구조화된 인터뷰를 수행하여 정보보안 개념과 관련된 오개념, 과도한 일반화 및 인지 편향을 밝혀냄.
• 상위 다섯 가지 CCI 개념을 대상으로 30개의 초안 다중선택형 질문을 개발하였으며, 잘못된 선택지들은 관찰된 학생 오개념에서 유래함.
• 베이슨 대학의 다중선택형 질문 작성 지침을 포함한 최선의 평가 제작 관행을 적용하고, 팀의 반복적 검토 및 수정을 통해 진행함.
• 인지 인터뷰(20명의 전문가), 시범 테스트(200명 이상의 학생), 그리고 항목 반응 이론을 활용한 심리측정 분석을 통한 검증 계획 수립.
• 검증 결과를 바탕으로 최종 CCI를 25개 질문(핵심 주제별로 5개씩)으로 구성함.

실험 결과

연구 질문

• RQ1 초급 정보보안 수업에서 평가해야 할 핵심 개념은 무엇인가?
• RQ2 인증, 위협, 방어 메커니즘과 같은 기본 정보보안 주제에 대해 학생들이 일반적으로 가진 오개념은 무엇인가?
• RQ3 어떻게 하면 악성 사고방식과 개념적 이해를 효과적으로 측정할 수 있는 개념 인벤토리를 구성할 수 있는가?
• RQ4 초안 CCI 질문들이 학생의 이해와 오개념을 얼마나 정확히 반영하고 있는가?
• RQ5 전문가 검토, 인지 인터뷰, 대규모 심리측정 테스트를 통해 CCI를 어떻게 검증할 수 있는가?

주요 결과

• 델파이 과정을 통해 중요도가 가장 높은 다섯 가지 핵심 정보보안 주제로는 취약점 및 실패 식별, CIA 삼각형 공격, 방어 수립, 보안 목표 식별, 잠재적 대상 및 공격자 식별이 도출됨.
• 학생 인터뷰를 통해 널리 퍼진 오개념이 드러남: 인터넷 통신은 모두 안전하지 않다는 믿음과 생체인식이 항상 인증 강도를 향상시킨다는 믿음.
• 일반적인 인지 편향으로는 과도한 일반화(예: 물리적 보안이 소프트웨어 보안보다 항상 강하다고 가정)와 혼동(예: 인증과 권한 부여, 해시와 암호화를 혼동)이 있음.
• 초안 CCI는 상위 다섯 개념 중 각각 하나의 개념에 맞춰진 30개의 다중선택형 질문을 포함하며, 오답항목은 학생 인터뷰에서 관찰된 경험적 오개념을 기반으로 함.
• 검증 프로세스는 20명의 전문가를 대상으로 한 인지 인터뷰, 200명 이상의 학생을 대상으로 한 시범 연구, 항목 반응 이론을 활용한 심리측정 분석을 포함하여 최종 25개 질문의 도구를 정교화함.
• 향후 고급 학생을 대상으로 하는 사이버보안 커리큘럼 평가(CCA)를 계획 중이며, CCI보다 더 깊이 있는 기술적 내용을 포함할 예정임.