[論文レビュー] Creating a Cybersecurity Concept Inventory: A Status Report on the CATS Project

Alan T. Sherman, Linda Oliva+8 more|arXiv (Cornell University)|Jun 15, 2017

Information and Cyber Security参考文献 9被引用数 7

ひとこと要約

CATSプロジェクトは、初年次の情報セキュリティコースにおける学生の学習を厳密に評価するためのサイバーセキュリティコンセプトインventリー（CCI）を開発する。デルファイ法によるコンSENSス形成、学生インタビュー、認知的妥当性評価を活用し、攻撃的思考を含むコアコンセプトを対象とする30の選択肢式問題を有するCCIは、観察された誤解に基づく誤り選択肢を備えており、教育手法の根拠に基づく評価を可能にする。

ABSTRACT

We report on the status of our Cybersecurity Assessment Tools (CATS) project that is creating and validating a concept inventory for cybersecurity, which assesses the quality of instruction of any first course in cybersecurity. In fall 2014, we carried out a Delphi process that identified core concepts of cybersecurity. In spring 2016, we interviewed twenty-six students to uncover their understandings and misconceptions about these concepts. In fall 2016, we generated our first assessment tool--a draft Cybersecurity Concept Inventory (CCI), comprising approximately thirty multiple-choice questions. Each question targets a concept; incorrect answers are based on observed misconceptions from the interviews. This year we are validating the draft CCI using cognitive interviews, expert reviews, and psychometric testing. In this paper, we highlight our progress to date in developing the CCI. The CATS project provides infrastructure for a rigorous evidence-based improvement of cybersecurity education. The CCI permits comparisons of different instructional methods by assessing how well students learned the core concepts of the field (especially adversarial thinking), where instructional methods refer to how material is taught (e.g., lab-based, case-studies, collaborative, competitions, gaming). Specifically, the CCI is a tool that will enable researchers to scientifically quantify and measure the effect of their approaches to, and interventions in, cybersecurity education.

研究の動機と目的

• 初年次のコースにおける情報セキュリティ教育の効果を測る標準的で研究に基づいた評価ツールを開発すること。
• デルファイ法を用いた専門家によるコンSENSス形成を通じて、コア情報セキュリティコンセプトを同定すること。
• 26名の学生に対する定性的インタビューを通じて、情報セキュリティに関する誤解、一般化、認知バイアスを特定すること。
• 観察された学生の誤解に基づく誤り選択肢を有するコンセプトインベントリーを設計し、評価の妥当性を向上させること。
• 認知インタビュー、専門家レビュー、および心理測定的テストを通じて、草案CCIの妥当性を検証すること。

提案手法

• 36名の専門家を対象に2回のデルファイプロセスを実施し、コア情報セキュリティコンセプトを同定・優先順位付けし、5つの主要トピックを特定した。
• 26名の学生に対して半構造化インタビューを実施し、情報セキュリティコンセプトに関連する誤解、一般化、認知バイアスを特定した。
• 上位5つのCCIコンセプトを対象とする30の草案選択肢式問題を設計し、誤った選択肢は観察された学生の誤解に基づいて抽出した。
• 複数選択肢問題作成のベストプラクティス（バーチャルド大学の複数選択肢問題作成アドバイス）を適用し、チームによる反復的レビューと修正を実施した。
• 認知インタビュー（20名の専門家）、パイロットテスト（200名以上の学生）、および項目反応理論を用いた心理測定的分析を通じて、検証を計画した。
• 検証の結果に基づき、最終的なCCIを25問（各コアトピック5問）に設計した。

実験結果

リサーチクエスチョン

• RQ1 初年次の情報セキュリティコースで評価すべきコアコンセプトは何か？
• RQ2 認証、脅威、防御メカニズムなどの基本的な情報セキュリティトピックに関して、学生が持つ一般的な誤解は何か？
• RQ3 どのようにして、攻撃的思考と概念的理解を効果的に測定できるコンセプトインベントリーを構築できるか？
• RQ4 草案CCIの問題が、学生の理解と誤解をどれほど正確に反映しているか？
• RQ5 専門家レビュー、認知インタビュー、大規模な心理測定的テストを通じて、CCIをどのように検証できるか？

主な発見

• デルファイプロセスにより、重要性が最も高いと評価された5つのコア情報セキュリティトピックが特定された：脆弱性および障害の特定、CIAトライアドへの攻撃、防御策の策定、セキュリティ目標の特定、潜在的標的および攻撃者の特定。
• 学生インタビューから、すべてのインターネット通信は安全ではないという誤解や、バイオメトリクスは常に認証強度を向上させるという誤解が広く存在することが明らかになった。
• 一般的な認知バイアスには、物理的セキュリティがソフトウェアセキュリティよりも常に強いと一般化する傾向（例：物理的セキュリティがソフトウェアセキュリティより優れていると仮定）や、認証と承認、ハッシュ化と暗号化を混同する傾向（例：認証と承認の混同、ハッシュ化と暗号化の混同）が含まれる。
• 草案CCIは、上位5つのコンセプトの各々に一致する30の選択肢式問題を含み、誤った選択肢は学生インタビューで観察された実証的誤解に基づいている。
• 検証プロセスには、20名の専門家を対象とした認知インタビュー、200名以上の学生を対象としたパイロット研究、および項目反応理論を用いた心理測定的分析が含まれ、最終的な25問のインストゥルメントを精錬する。
• 本プロジェクトは、より高度な技術的コンテンツを含む、将来的な高度な学生向けのサイバーセキュリティカリキュラム評価（CCA）の構築を想定している。