[논문 리뷰] The Effect of Security Education and Expertise on Security Assessments: the Case of Software Vulnerabilities

Luca Allodi, Marco Cremonini외 2명|arXiv (Cornell University)|2018. 08. 20.

Information and Cyber Security참고 문헌 39인용 수 5

한 줄 요약

이 연구는 보안 교육과 전문적 숙련도가 CVSS v3 프레임워크를 사용한 소프트웨어 취약성 심각도 평가의 정확성에 어떻게 영향을 미치는지 조사한다. 연구 결과, 공식 교육이나 경력 연수보다 실무 지식과 시스템 인식 같은 개인의 기술 조합이 더 중요하며, 기술적, 운영적, 사용자 관점에서 균형 잡힌 전문성과 훈련이 제공하는 평가 품질은 유사한 수준임을 확인한다.

ABSTRACT

In spite of the growing importance of software security and the industry demand for more cyber security expertise in the workforce, the effect of security education and experience on the ability to assess complex software security problems has only been recently investigated. As proxy for the full range of software security skills, we considered the problem of assessing the severity of software vulnerabilities by means of a structured analysis methodology widely used in industry (i.e. the Common Vulnerability Scoring System (\CVSS) v3), and designed a study to compare how accurately individuals with background in information technology but different professional experience and education in cyber security are able to assess the severity of software vulnerabilities. Our results provide some structural insights into the complex relationship between education or experience of assessors and the quality of their assessments. In particular we find that individual characteristics matter more than professional experience or formal education; apparently it is the \emph{combination} of skills that one owns (including the actual knowledge of the system under study), rather than the specialization or the years of experience, to influence more the assessment quality. Similarly, we find that the overall advantage given by professional expertise significantly depends on the composition of the individual security skills as well as on the available information.

연구 동기 및 목표

• 실제 상황에서 보안 교육과 전문 경력이 취약성 심각도 평가의 품질에 어떻게 영향을 미치는지 이해하기 위해.
• 표준화된 CVSS v3 프레임워크를 사용할 때 공식 교육과 전문 경력 중 어느 것이 더 정확한 평가를 이끌어내는지 평가하기 위해.
• 기술 지식, 시스템 인식, 사용자 관점과 같은 개인의 기술 조합이 평가 결과에 어떻게 영향을 미치는지 조사하기 위해.
• 전문 지식이 공식 교육을 대체하거나 그 반대로 공식 교육이 전문 지식을 대체할 수 있는지 여부를 평가하기 위해.
• 모호한 취약성 기술이 평가 정확성과 불확실성 하에서의 의사결정에 어떤 영향을 미치는지 탐색하기 위해.

제안 방법

• 보안 교육을 받은 학생, 보안 교육을 받지 않은 학생, 공식 보안 교육 없이 경력이 있는 전문가로 구성된 세 그룹의 참가자를 대상으로 통제된 실험을 수행하였다.
• 참가자들은 표준 지침과 동일한 소개 강의를 바탕으로 CVSS v3 점수 체계를 사용해 소프트웨어 취약성을 평가하였다.
• 공개 기준으로서 CVSS v3 메트릭(예: 공격 벡터, 사용자 상호작용)을 사용하여 평가 정확성과 일관성을 평가하였다.
• 그룹 간 점수의 분산을 비교하고 개인 특성의 평가 품질에 미치는 영향을 분석하기 위해 통계 분석을 적용하였다.
• 고정된 취약성 순서와 그룹 내 분산 분석을 통해 평가 순서 및 학습 효과 등의 혼란 요인을 통제하였다.
• 전문가를 포함하여 참가자 샘플링과 취약성 기술의 부족한 맥락 정보로 인한 외부 타당성 우려를 고려하였다.

실험 결과

연구 질문

• RQ1 공식 보안 교육이 전문 경력보다 더 정확한 취약성 심각도 평가를 이끌어내는가?
• RQ2 기술 지식, 시스템 인식, 사용자 관점과 같은 개인의 기술 조합은 평가 품질에 어떻게 영향을 미치는가?
• RQ3 전문 경력이 공식 교육 부족을 얼마나 보완할 수 있는가?
• RQ4 취약성 기술의 모호성이 평가의 일관성과 정확성에 어떤 영향을 미치는가?
• RQ5 특정 훈련이 높은 수준의 평가를 위해 수년간의 경험을 대체할 수 있는가?

주요 결과

• 공식 교육이나 경력 연수보다 실무 지식과 시스템 인식과 같은 개인의 특성이 평가 품질에 더 큰 영향을 미친다.
• 전문 경력 연수와 평가 정확성 간에 강한 상관관계가 없으며, 일부 경우에서는 부정적 상관관계가 관찰되었다.
• 기술적, 운영적, 사용자 중심 기술의 다각적 조합이 어떤 단일 요인보다 평가 품질을 더 잘 예측하였다.
• 전문 지식은 완전한 정보에 접근하고 균형 잡힌 기술 세트를 갖춘 경우에만 상당한 이점을 제공한다.
• 공식 교육과 전문 경력은 둘 다 균형 잡힌 통합 기술 세트에 기여할 경우 유사한 수준의 평가 품질을 제공할 수 있다.
• 실제 상황의 맥락 정보가 부족하여 연구의 정확도 추정치는 보수적으로 평가되었으며, 이는 실제 전문가의 성과가 더 높을 수 있음을 시사한다.