[논문 리뷰] Uncertainty in Cyber Security Investments

Andrew Fielder, Sandra König외 3명|arXiv (Cornell University)|2017. 12. 16.

Information and Cyber Security참고 문헌 7인용 수 8

한 줄 요약

이 논문은 불확실성 하에서 정보보안 투자에 대한 게임이론적 모델을 제안하며, 지ayoff가 고정된 값이 아니라 확률분포로 표현됨을 특징으로 한다. 위험 평가 매개변수에 상당한 불확실성이 존재하더라도, 이 모델은 기대손실을 최소화하는 핵심적인 효과적인 통제 조치들을 일관되게 식별하며, 다양한 불확실성 수준과 예산 제약 조건에서도 최적의 전략 선택에 있어 강건성을 입증한다.

ABSTRACT

When undertaking cyber security risk assessments, we must assign numeric values to metrics to compute the final expected loss that represents the risk that an organization is exposed to due to cyber threats. Even if risk assessment is motivated from real-world observations and data, there is always a high chance of assigning inaccurate values due to different uncertainties involved (e.g., evolving threat landscape, human errors) and the natural difficulty of quantifying risk per se. Our previous work has proposed a model and a software tool that empowers organizations to compute optimal cyber security strategies given their financial constraints, i.e., available cyber security budget. We have also introduced a general game-theoretic model with uncertain payoffs (probability-distribution-valued payoffs) showing that such uncertainty can be incorporated in the game-theoretic model by allowing payoffs to be random. In this paper, we combine our aforesaid works and we conclude that although uncertainties in cyber security risk assessment lead, on average, to different cyber security strategies, they do not play significant role into the final expected loss of the organization when using our model and methodology to derive this strategies. We show that our tool is capable of providing effective decision support. To the best of our knowledge this is the first paper that investigates how uncertainties on various parameters affect cyber security investments.

연구 동기 및 목표

• 위험 평가 매개변수의 불확실성이 정보보안 투자 결정에 미치는 영향을 조사하는 것.
• 특히 소규모 기업(SMEs)의 제한된 예산을 고려할 때 지ayoff 값의 불확실성을 통합함으로써 기존의 의사결정 지원 모델을 확장하는 것.
• 불확실성이 정보보안 투자에서 기대손실이나 최적의 전략 선택에 크게 영향을 미치는지 평가하는 것.
• 매개변수의 불확실성과 예산 제약 조건에도 불구하고 일관되고 효과적인 통제 조치 선택을 유지할 수 있는 강건한 방법론을 개발하는 것.

제안 방법

• 모델은 위협과 방어 결과의 불확실성을 표현하기 위해 고정된 값이 아닌 지ayoff 분포를 사용하는 0-합 게임 이론 프레임워크를 사용한다.
• 지ayoff 분포는 위험 최소화에 적합한 총순서(total order)로 정렬되어, 분포값을 가진 게임에 대해 균형을 찾는 알고리즘을 적용할 수 있도록 한다.
• 적응형 허구적 플레이(fictitious play) 알고리즘이 게임의 내쉬 균형을 계산하여, 불확실성 하에서 최적의 방어 전략을 식별한다.
• 통제 및 공격 프로파일을 정의하기 위해 SANS 핵심 보안 조치와 CWE 상위 25개 취약성의 실제 세계 데이터를 통합한다.
• 전략의 일관성과 기대손실을 평가하기 위해 다양한 수준의 불확실성(저수준, 중수준, 고수준)과 예산 제약 조건에서 실험을 수행한다.
• 다양한 공격 벡터를 통해 통제 조치의 효과성과 커버리지가 평가되어, 강건하고 반복 가능한 최적의 통제 조치 집합을 식별한다.

실험 결과

연구 질문

• RQ1 위험 평가 매개변수의 불확실성이 최적의 정보보안 전략 선택에 어떻게 영향을 미치는가?
• RQ2 지ayoff 값의 불확실성이 조직의 기대손실에 얼마나 큰 영향을 미치는가?
• RQ3 다양한 수준의 불확실성과 예산 제약 조건에서도 최적의 정보보안 전략이 일관되게 유지되는가?
• RQ4 분포값을 가진 게임이론 모델이 기대 손해의 다수를 완화하는 안정적인 핵심 통제 조치 집합을 신뢰성 있게 식별할 수 있는가?
• RQ5 예산 제약 조건이 불확실성과 어떻게 상호작용하여 최적의 통제 조치 솔루션의 다양성과 통일성에 영향을 미치는가?

주요 결과

• 위험 평가 매개변수에 상당한 불확실성이 존재하더라도, 다양한 불확실성 수준 간 기대손실이 거의 일관되게 유지되어 모델의 결과에 강건성이 있음을 시사한다.
• 특히 통제 조치 1과 통제 조치 3로 구성된 핵심 통제 조치 집합이 모든 예산 수준과 불확실성 조건에서 일관되게 선택되어, 중요한 공격 벡터를 효과적으로 커버함을 입증한다.
• 저예산 수준에서는 비용에 대한 불확실성이 증가함에 따라 해공간이 더 분할되고 국소 최적해가 증가하지만, 기본 통제 조치들은 여전히 최적의 선택으로 나타난다.
• 불확실성 또는 예산 수준에 관계없이 항상 안정적이고 최소한의 통제 조치 집합(통제 조치 1~4)을 식별하여 정보보안 방어의 신뢰할 수 있는 기반을 제공한다.
• 불확실성으로 인해 특정 통제 조합의 최적 전략이 다를 수는 있지만, 기대손해의 총체적 감소 효과는 매우 일관되게 유지된다.
• 결과적으로 입력 매개변수의 불확실성이 유도된 최적 전략의 품질을 크게 떨어뜨리지 않음을 확인하여, 모델이 실세계 의사결정에 실용적으로 유용함을 검증한다.