[논문 리뷰] My Software has a Vulnerability, should I worry?

Luca Allodi, Fabio Massacci|Zenodo (CERN European Organization for Nuclear Research)|2013. 01. 07.

Information and Cyber Security참고 문헌 22인용 수 52

한 줄 요약

이 연구는 CVSS 점수와 공개 보안 취약성 데이터베이스가 실제 세계에서의 악용을 신뢰할 만하게 예측할 수 있는지 평가한다. NVD, Exploit-DB, 암시장 공격 키트(E KITS)를 대상으로 한 케이스-컨트롤러드 분석을 통해, CVSS 점수만으로는 위험 예측이 열악하며, 높은 CVSS 점수를 가진 암시장 존재 시에만 의미 있는 위험 감소(61%)를 얻을 수 있다. 반면, 표준 CVSS 정책은 최소한의 보안 향상(3–4%)에 그친다.

ABSTRACT

(U.S) Rule-based policies to mitigate software risk suggest to use the CVSS score to measure the individual vulnerability risk and act accordingly: an HIGH CVSS score according to the NVD (National (U.S.) Vulnerability Database) is therefore translated into a "Yes". A key issue is whether such rule is economically sensible, in particular if reported vulnerabilities have been actually exploited in the wild, and whether the risk score do actually match the risk of actual exploitation. We compare the NVD dataset with two additional datasets, the EDB for the white market of vulnerabilities (such as those present in Metasploit), and the EKITS for the exploits traded in the black market. We benchmark them against Symantec's threat explorer dataset (SYM) of actual exploit in the wild. We analyze the whole spectrum of CVSS submetrics and use these characteristics to perform a case-controlled analysis of CVSS scores (similar to those used to link lung cancer and smoking) to test its reliability as a risk factor for actual exploitation. We conclude that (a) fixing just because a high CVSS score in NVD only yields negligible risk reduction, (b) the additional existence of proof of concepts exploits (e.g. in EDB) may yield some additional but not large risk reduction, (c) fixing in response to presence in black markets yields the equivalent risk reduction of wearing safety belt in cars (you might also die but still..). On the negative side, our study shows that as industry we miss a metric with high specificity (ruling out vulns for which we shouldn't worry). In order to address the feedback from BlackHat 2013's audience, the final revision (V3) provides additional data in Appendix A detailing how the control variables in the study affect the results.

연구 동기 및 목표

• 공개 보안 취약성 데이터베이스(NVD, Exploit-DB)와 CVSS 점수가 실제 악용을 얼마나 정확하게 예측하는지 평가한다.
• 고 CVSS 점수에 기반한 규칙 기반 정책이 위험 완화에 경제적으로 효과적인지 조사한다.
• 실제 악용 데이터(심내닉의 위협 탐색기(SYM)에서 확보)와 비교해, 화이트마켓(Exploit-DB)과 블랙마켓(E KITS)에서의 공격 툴 가용성이 얼마나 실제 악용을 예측하는지 비교한다.
• CVSS 서브메트릭 또는 공격 툴 존재 여부가 낮은 위험의 취약성을 신뢰할 만한 통계적 기준으로 제외할 수 있는지 규명한다.
• 다양한 취약성 시장에서 실제 악용에 대한 CVSS의 특이도와 민감도를 평가한다.

제안 방법

• 실제 악용된 취약성 데이터셋을 심내닉의 위협 탐색기(SYM)를 활용해 구축하여 기준 데이터로 삼았다.
• 서로 보완적인 세 가지 데이터셋을 수집하고 분석했다: NVD(공개 취약성 데이터베이스), Exploit-DB(증명용 공격 코드), E KITS(암시장에서 거래되는 공격 툴).
• 핵심 CVSS 서브메트릭과 공격 특성에 따라 매칭된 케이스-컨트롤러드 랜덤 실험을 수행해 각 데이터셋 간의 취약성 특성 차이를 비교했다.
• 조건부 확률 모델링을 통해 특정 CVSS 점수나 공격 툴 가용성이 실제 악용 가능성과 관련된 확률을 평가했다.
• 실제 악용과 비교해 CVSS 점수와 공격 툴 존재 여부의 예측 성능을 벤치마크로 측정하였으며, 민감도와 특이도를 측정했다.
• 제어 변수 분석을 추가로 수행해 결과의 탄력성을 검증하였으며, BlackHat 2013 피드백을 반영하였고, 추가 데이터는 부록에 포함하였다.

실험 결과

연구 질문

• RQ1 NVD 및 Exploit-DB와 같은 공개 보안 취약성 데이터베이스가 소프트웨어 취약성의 실제 악용을 얼마나 정확하게 반영하는가?
• RQ2 특히 화이트마켓 및 블랙마켓에서의 공격 툴 가용성과 비교할 때, CVSS 점수가 실제 악용 가능성을 얼마나 잘 예측하는가?
• RQ3 고 CVSS 점수에만 기반한 규칙 기반 정책이 실제 악용 위험 감소에 경제적으로 효과적인가?
• RQ4 CVSS 서브메트릭 또는 증명용 공격 코드 존재 여부가 실제로 악용되는 취약성을 안정적으로 식별할 수 있는가?
• RQ5 암시장 공격 키트에 등재된 취약성이 공개 데이터베이스보다 실제 위험에 대해 더 신뢰할 수 있는 신호를 제공하는가?

주요 결과

• NVD의 고 CVSS 점수에 기반해 취약성을 수정하는 것은 위험 감소 효과가 극히 미미하며, 실제로 악용 방지에 3–4%의 개선만을 가져온다.
• Exploit-DB에 증명용 공격 코드가 존재하는 것은 추가로 10%의 위험 감소 효과를 보이지만, 광범위한 정책 적용에 있어 통계적으로 탄탄하지 않다.
• 중간에서 높은 CVSS 점수를 가진 암시장 공격 키트(E KITS)에 등재된 취약성은 패치 적용 시 61%의 위험 감소를 보이며 강력한 예측 능력을 입증한다.
• CVSS 점수는 암시장 존재와 조합될 경우 실제 악용을 탐지하는 데 높은 민감도를 보이지만, 비위협적 취약성을 배제하기 위한 높은 특이도를 갖추지 못한다.
• NVD, Exploit-DB, E KITS 중 어느 데이터셋도 사용자가 걱정할 필요가 없는 98%의 취약성을 신뢰할 만한 통계적 기준으로 배제할 수 있는 메트릭을 제공하지 못한다.
• 이 연구는 현재의 CVSS 기반 규칙 기반 정책이 높은 준수 비용에도 비례하는 보안 향상 효과를 내지 못하므로 경제적으로 효과적이지 않다고 결론 내린다.