[论文解读] A Methodology to Support Automatic Cyber Risk Assessment Review

Marco Angelini, Silvia Bonomi+1 more|arXiv (Cornell University)|Jul 7, 2022

Information and Cyber Security被引用 6

一句话总结

本文提出了一种方法，通过使用集成技术、人员和治理因素的多层攻击图（MLAG），自动审查基于控制措施的评估，以减少网络风险评估中的主观性。通过将安全控制映射到基础设施组件，并利用得分变异性的检测不一致，该方法以90%的错误检测准确率识别出存在偏差或不准确的评估，从而提高风险评估的客观性和可靠性。

ABSTRACT

Cyber risk assessment is a fundamental activity for enhancing the protection of an organization, identifying and evaluating the exposure to cyber threats. Currently, this activity is carried out mainly manually and the identification and correct quantification of risks deeply depend on the experience and confidence of the human assessor. As a consequence, the process is not completely objective and two parallel assessments of the same situation may lead to different results. This paper takes a step in the direction of reducing the degree of subjectivity by proposing a methodology to support risk assessors with an automatic review of the produced assessment. Our methodology starts from a controls-based assessment performed using well-known cybersecurity frameworks (e.g., ISO 27001, NIST) and maps security controls over infrastructural aspects that can be assessed automatically (e.g., ICT devices, organization policies). Exploiting this mapping, the methodology suggests how to identify controls needing revision. The approach has been validated through a case study from the healthcare domain and a set of statistical analyses.

研究动机与目标

• 减少人工网络风险评估中的主观性，此类评估易受人为错误和评估人员之间评分不一致的影响。
• 通过多层攻击图（MLAG）将技术、人员和治理因素整合到统一的风险评估框架中。
• 开发一种自动化审查机制，以检测基于控制措施评估中的错误和偏差。
• 在真实世界的医疗保健案例研究中通过统计分析验证该方法。
• 提高关键基础设施中网络风险评估的可靠性和一致性。

提出的方法

• 该方法将来自成熟框架（如ISO 27001、NIST CSF）的安全控制映射到表示技术、人员和组织层面的多层攻击图（MLAG）上。
• 通过加权平均函数聚合治理和关键技术因素，计算综合风险得分。
• 该方法引入“综合得分”以量化基础设施各层的安全水平，得分基于MLAG中的攻击路径和控制覆盖范围得出。
• 通过将计算得分与真实情况对比来验证评估结果，利用得分变异性的统计分析检测偏差。
• 通过注入15%、45%、65%和90%的错误进行扰动分析，以测试检测能力。
• 通过分析得分分布模式和异常值检测，识别出不一致的评估，尤其关注人类和访问层等高变异性的层级。

实验结果

研究问题

• RQ1 能否通过自动化审查风险评估来减少主观性，并提高不同评估人员之间的一致性？
• RQ2 多层攻击图在检测人工生成的风险评估中的错误和偏差方面效果如何？
• RQ3 综合评分模型在多大程度上真实反映了技术、人员和治理层面的基础设施暴露情况？
• RQ4 该方法在不同评估情境和控制覆盖水平下的稳定性和适应性如何？
• RQ5 得分变异性的模式能否可靠地指示风险评估结果中偏差或错误的存在？

主要发现

• 该方法成功以90%的错误检测准确率识别出存在偏差的评估，尤其能有效识别出在人员和访问层中得分被放大的情况。
• 不同层级的得分变异模式存在差异：人员和访问层的错误倾向于放大得分，而网络层的错误则倾向于降低得分。
• 综合得分分布的均值为0.117，标准差为0.120，异常值表明存在高度安全的组件。
• 在全覆盖评估中，平均得分为0.117，且变异程度更高，反映出治理和关键技术控制方面合规性更好。
• 标准差从全覆盖时的0.100下降至部分覆盖时的0.078和无覆盖时的0.016，表明在不同评估情境下具有高度稳定性。
• 该方法通过聚焦低分区域，有效识别出易受攻击的基础设施点，与关键基础设施风险分析的预期一致。