[論文レビュー] The Effect of Security Education and Expertise on Security Assessments: the Case of Software Vulnerabilities

Luca Allodi, Marco Cremonini+2 more|arXiv (Cornell University)|Aug 20, 2018

Information and Cyber Security参考文献 39被引用数 5

ひとこと要約

本研究は、CVSS v3フレームワークを用いて、セキュリティ教育および専門的経験がソフトウェア脆弱性深刻度評価の正確性にどのように影響するかを調査する。研究では、形式的な教育や経験年数よりも、実務的知識やシステム認識といった個々のスキルの組み合わせが、特に重要であることが判明した。専門的経験と訓練が技術的、運用的、ユーザーの視点をバランスよく統合している場合、両者は同等の評価品質をもたらすことが示された。

ABSTRACT

In spite of the growing importance of software security and the industry demand for more cyber security expertise in the workforce, the effect of security education and experience on the ability to assess complex software security problems has only been recently investigated. As proxy for the full range of software security skills, we considered the problem of assessing the severity of software vulnerabilities by means of a structured analysis methodology widely used in industry (i.e. the Common Vulnerability Scoring System (\CVSS) v3), and designed a study to compare how accurately individuals with background in information technology but different professional experience and education in cyber security are able to assess the severity of software vulnerabilities. Our results provide some structural insights into the complex relationship between education or experience of assessors and the quality of their assessments. In particular we find that individual characteristics matter more than professional experience or formal education; apparently it is the \emph{combination} of skills that one owns (including the actual knowledge of the system under study), rather than the specialization or the years of experience, to influence more the assessment quality. Similarly, we find that the overall advantage given by professional expertise significantly depends on the composition of the individual security skills as well as on the available information.

研究の動機と目的

• 現実世界の文脈において、セキュリティ教育および職業的経験が脆弱性深刻度評価の質にどのように影響するかを理解すること。
• 標準化されたCVSS v3フレームワークを用いて、形式的教育と職業的経験のどちらがより正確な評価をもたらすかを評価すること。
• 技術的知識、システム認識、ユーザー視点といった個々のスキルセットが、評価結果にどのように影響するかを調査すること。
• 専門的経験が形式的教育に代わるか、逆に形式的教育が経験に代わるか、高品質なセキュリティ評価を生み出す上で、両者がどのように補完し合うかを評価すること。
• 曖昧な脆弱性記述が、評価の正確性および不確実性下での意思決定に与える影響を調査すること。

提案手法

• セキュリティ教育を受けていない学生、セキュリティ教育を受けていない学生、および形式的セキュリティ教育を受けないが経験のあるプロフェッショナルの3つの参加者グループを対象に、制御された実験を実施した。
• 参加者は、標準化されたガイドラインと共通の紹介講義に従い、CVSS v3スコアリングシステムを用いてソフトウェア脆弱性のセットを評価した。
• 攻撃ベクトル、ユーザー操作要件などのCVSS v3メトリクスを、評価の正確性および一貫性を評価する客観的基準として使用した。
• グループ間のスコアの分散を比較し、個々の特徴が評価品質に与える影響を評価するため、統計的分析を実施した。
• 評価順序や学習効果といった交絡要因を制御するため、固定された脆弱性順序を用い、グループ内分散分析を実施した。
• 外部妥当性の懸念に対処するため、プロフェッショナルを含め、学生ベースのサンプリングおよび脆弱性記述における文脈情報の欠落といった制限を認識した。

実験結果

リサーチクエスチョン

• RQ1 形式的セキュリティ教育は、職業的経験よりも脆弱性深刻度評価をより正確に行うか？
• RQ2 技術的知識、システム認識、ユーザー視点といった個々のスキルの組み合わせが、評価品質にどのように影響するか？
• RQ3 職業的経験が、形式的教育の欠如を補う程度はどの程度か？
• RQ4 脆弱性記述の曖昧さが、評価の一貫性および正確性に与える影響は？
• RQ5 特定の訓練が、長年の経験に代わって高品質な脆弱性評価を生み出すことができるか？

主な発見

• 形式的教育や経験年数よりも、実務的知識やシステム認識といった個人の特性が、評価品質に顕著に影響を与える。
• 職業的経験年数と評価正確性との間に強い相関は認められず、一部のケースでは逆の相関が観察された。
• 技術的、運用的、ユーザー指向の多様なセキュリティスキルの組み合わせが、単一要因よりも評価品質をよりよく予測した。
• 専門的経験は、包括的でバランスの取れたスキルセットと完全な情報へのアクセスがある場合にのみ、顕著な利点を発揮する。
• 形式的教育と職業的経験が、両方ともバランスの取れた統合的スキルセットに貢献する場合、同等の評価品質をもたらす。
• 本研究の正確性推定値は保守的である。これは、現実世界の文脈情報が欠落しているためであり、実際のプロフェッショナルのパフォーマンスはより高い可能性がある。