[論文レビュー] A Methodology to Support Automatic Cyber Risk Assessment Review

Marco Angelini, Silvia Bonomi+1 more|arXiv (Cornell University)|Jul 7, 2022

Information and Cyber Security被引用数 6

ひとこと要約

本論文は、技術的要因、人的要因、ガバナンス要因を統合したマルチレイヤー攻撃グラフ（MLAG）を用いて、制御ベースの評価を自動でレビューすることにより、サイバー危険性評価における主観性を低減する手法を提案する。セキュリティ制御をインフラ構成要素にマッピングし、スコアのばらつきを介して不整合を検出することで、90%の誤検出精度でバイアスまたは不正確な評価を同定し、リスク評価の客観性と信頼性を向上させる。

ABSTRACT

Cyber risk assessment is a fundamental activity for enhancing the protection of an organization, identifying and evaluating the exposure to cyber threats. Currently, this activity is carried out mainly manually and the identification and correct quantification of risks deeply depend on the experience and confidence of the human assessor. As a consequence, the process is not completely objective and two parallel assessments of the same situation may lead to different results. This paper takes a step in the direction of reducing the degree of subjectivity by proposing a methodology to support risk assessors with an automatic review of the produced assessment. Our methodology starts from a controls-based assessment performed using well-known cybersecurity frameworks (e.g., ISO 27001, NIST) and maps security controls over infrastructural aspects that can be assessed automatically (e.g., ICT devices, organization policies). Exploiting this mapping, the methodology suggests how to identify controls needing revision. The approach has been validated through a case study from the healthcare domain and a set of statistical analyses.

研究の動機と目的

• 手作業によるサイバー危険性評価は人為的誤差や評価者間でのスコアの不一致に起因するため、その主観性を低減すること。
• マルチレイヤー攻撃グラフ（MLAG）を用いて、技術的要因、人的要因、ガバナンス要因を統合した統一されたリスク評価フレームワークを構築すること。
• 制御ベースの評価における誤りやバイアスを検出する自動レビュー機構を開発すること。
• 統計的分析を用いて、実世界の医療分野における事例研究でこの手法を検証すること。
• クリティカルインフラにおけるサイバー危険性評価の信頼性と一貫性を向上させること。

提案手法

• 本手法は、国際基準（例：ISO 27001、NIST CSF）に定義されたセキュリティ制御を、技術的・人的・組織的レイヤーを表すマルチレイヤー攻撃グラフ（MLAG）にマッピングする。
• 重み付き平均関数を用いてガバナンス要因と技術的要因を統合し、包括的なリスクスコアを算出する。
• MLAGに基づく攻撃パスと制御カバレッジから導出されるスコアを用いて、インフラ構成要素の各レイヤーにおける包括的スコアを定量化する。
• 計算されたスコアを真の値と比較することで評価を検証し、スコアのばらつきの統計的分析を通じてバイアスを検出する。
• 誤差を15%、45%、65%、90%の割合で注入するパerturbation分析を実施し、検出能力をテストする。
• 特に人的要因やアクセスレイヤーのような高ばらつきを示すレイヤーにおいて、スコア分布のパターンと外れ値検出を分析することで、不一致のある評価を同定する。

実験結果

リサーチクエスチョン

• RQ1 リスク評価の自動レビューは、異なる評価者間での主観性を低減し、一貫性を向上させることができるか？
• RQ2 マルチレイヤー攻撃グラフは、手作業で生成されたリスク評価における誤りやバイアスをどの程度効果的に検出できるか？
• RQ3 包括的スコアモデルは、技術的・人的・ガバナンス的レイヤーにおける実際のインフラストラクチャの露出状況をどの程度正確に反映しているか？
• RQ4 本手法は、さまざまな評価文脈や制御カバレッジ水準において、どの程度安定的かつ柔軟に適応可能か？
• RQ5 スコアのばらつきパターンは、リスク評価出力におけるバイアスまたは誤りの存在を信頼性高く示唆できるか？

主な発見

• 本手法は90%の誤検出精度でバイアスのある評価を効果的に同定し、特に人的要因およびアクセスレイヤーでのスコアの拡大を特定した。
• スコアのばらつきパターンはレイヤーごとに異なる：人的要因およびアクセスレイヤーではスコアの拡大が顕著であり、ネットワークレイヤーでは逆にスコアが低下傾向にある。
• 包括的スコアの分布は平均0.117、標準偏差0.120を示し、外れ値は極めて安全なコンponentsを示している。
• 完全カバレッジ評価では平均スコアが0.117であり、ガバナンスおよび技術的制御の適合度が高いためばらつきも大きい。
• 標準偏差は完全カバレッジ時（0.100）から部分カバレッジ時（0.078）および無カバレッジ時（0.016）に減少し、さまざまな評価文脈における高い安定性を示している。
• 本手法は、低スコア領域に注目することで、脆弱なインフラストラクチャ要因を効果的に同定し、クリティカルインフラリスク分析の期待に合致している。