[논문 리뷰] A Methodology to Support Automatic Cyber Risk Assessment Review

Marco Angelini, Silvia Bonomi외 1명|arXiv (Cornell University)|2022. 07. 07.

Information and Cyber Security인용 수 6

한 줄 요약

이 논문은 기술적, 인간적, 거버넌스 요소를 통합한 다층 공격 그래프(MLAG)를 사용하여 제어 기반 평가를 자동으로 검토하는 방법론을 제안한다. 이는 주관성을 줄이고 사이버 리스크 평가의 객관성과 신뢰성을 향상시킨다. 보안 제어를 인프라 요소에 매핑하고 점수 변동성에 기반한 일관성 없는 평가를 탐지함으로써, 90%의 오류 탐지 정확도로 편향되거나 부정확한 평가를 식별한다.

ABSTRACT

Cyber risk assessment is a fundamental activity for enhancing the protection of an organization, identifying and evaluating the exposure to cyber threats. Currently, this activity is carried out mainly manually and the identification and correct quantification of risks deeply depend on the experience and confidence of the human assessor. As a consequence, the process is not completely objective and two parallel assessments of the same situation may lead to different results. This paper takes a step in the direction of reducing the degree of subjectivity by proposing a methodology to support risk assessors with an automatic review of the produced assessment. Our methodology starts from a controls-based assessment performed using well-known cybersecurity frameworks (e.g., ISO 27001, NIST) and maps security controls over infrastructural aspects that can be assessed automatically (e.g., ICT devices, organization policies). Exploiting this mapping, the methodology suggests how to identify controls needing revision. The approach has been validated through a case study from the healthcare domain and a set of statistical analyses.

연구 동기 및 목표

• 수동 사이버 리스크 평가의 주관성을 줄이기 위해 인간의 실수와 평가자 간 일관성 없는 점수 부여 문제를 해결한다.
• 다층 공격 그래프(MLAG)를 활용해 기술적, 인간적, 거버넌스 요소를 통합한 통합 리스크 평가 프레임워크를 구축한다.
• 제어 기반 평가의 오류와 편향을 탐지하는 자동 검토 메커니즘을 개발한다.
• 통계 분석을 통해 실제 의료 분야 사례 연구에서 방법론을 검증한다.
• 핵심 인프라에서 사이버 리스크 평가의 신뢰성과 일관성을 향상시킨다.

제안 방법

• 기존 프레임워크(예: ISO 27001, NIST CSF)의 보안 제어를 다층 공격 그래프(MLAG)에 매핑하여 기술적, 인간적, 조직적 계층을 표현한다.
• 가중 평균 함수를 사용해 거버넌스 및 기술적 요소를 통합하여 종합적인 리스크 점수를 계산한다.
• MLAG 기반 공격 경로와 제어 커버리지에서 유도된 점수를 바탕으로 종합 점수를 도입하여 인프라 계층 전반의 보안 수준을 정량화한다.
• 계산된 점수를 기준값과 비교하여 평가를 검증하고, 점수 변동성의 통계 분석을 통해 편향을 탐지한다.
• 오류 주입 비율을 15%, 45%, 65%, 90%로 설정한 펌프터베이션 분석을 수행하여 탐지 능력을 테스트한다.
• 특히 인간 및 액세스 계층과 같은 고변동성 계층에서 점수 분포 패턴과 이상치 탐지 분석을 통해 일관성 없는 평가를 식별한다.

실험 결과

연구 질문

• RQ1 자동화된 리스크 평가 검토가 다양한 평가자 간의 주관성과 일관성을 줄이는데 얼마나 효과적인가?
• RQ2 다층 공격 그래프는 수동으로 생성된 리스크 평가의 오류와 편향을 얼마나 효과적으로 탐지할 수 있는가?
• RQ3 종합 점수 모델은 기술적, 인간적, 거버넌스 계층 전반의 실제 인프라 노출 수준을 얼마나 잘 반영하는가?
• RQ4 다양한 평가 맥락과 제어 커버리지 수준에서 이 방법론은 얼마나 안정적이고 적응 가능한가?
• RQ5 점수 변동성 패턴은 리스크 평가 출력에 편향이나 오류가 존재하는지를 신뢰성 있게 나타내는가?

주요 결과

• 이 방법론은 90%의 오류 탐지 정확도로 편향된 평가를 성공적으로 탐지하였으며, 특히 인간 및 액세스 계층에서 점수의 과대 반영 현상을 식별했다.
• 계층 간 점수 변동성 패턴은 다름: 인간 및 액세스 계층에서는 오류가 점수를 과대평가하는 경향이 있었고, 네트워크 계층에서는 점수를 감소시키는 경향이 있었다.
• 종합 점수 분포는 평균 0.117, 표준편차 0.120를 보였으며, 이상치는 매우 보안이 강한 구성 요소를 나타냈다.
• 전체 커버리지 평가에서는 평균 점수가 높고(0.117), 변동성이 더 크며, 거버넌스 및 기술적 제어에서의 준수 수준이 높다는 것을 반영한다.
• 표준편차는 전체 커버리지 시 0.100에서 부분 커버리지 시 0.078, 커버리지 없음 시 0.016로 감소하여 다양한 평가 맥락에서 높은 안정성을 보였다.
• 저점수 영역에 초점을 맞춤으로써 이 방법론은 취약한 인프라 포인트를 효과적으로 식별하였으며, 핵심 인프라 리스크 분석의 기대에 부합했다.