[논문 리뷰] An Independent Validation of Vulnerability Discovery Models

Viet Hung Nguyen, Fabio Massacci|arXiv (Cornell University)|2012. 03. 26.

Software Reliability and Analysis Research참고 문헌 11인용 수 4

한 줄 요약

이 논문은 Firefox, Chrome, IE 포함 17개 브라우저 릴리스에서 다양한 취약성 기준을 정의한 다섯 가지 데이터 세트를 사용하여, 6개의 취약성 발견 모델(VDM)을 독립적으로 검증한다. AML(Alhazmi & Malaiya의 로지스틱) 모델은 뛰어난 성능을 보이며, Anderson 열역학(AT) 모델은 완전히 실패함으로써 취약성 발견이 일반 소프트웨어 신뢰성 모델링과 근본적으로 다름을 시사한다. 특히 보안 결함 탐지에 대한 동기가 높아지기 때문이다.

ABSTRACT

Having a precise vulnerability discovery model (VDM) would provide a useful quantitative insight to assess software security. Thus far, several models have been proposed with some evidence supporting their goodness-of-fit. In this work we describe an independent validation of the applicability of six existing VDMs in seventeen releases of the three popular browsers Firefox, Google Chrome and Internet Explorer. We have collected five different kinds of data sets based on different definitions of a vulnerability. We introduce two quantitative metrics, goodness-of-fit entropy and goodness-of-fit quality, to analyze the impact of vulnerability data sets to the stability as well as quality of VDMs in the software life cycles. The experiment result shows that the "confirmed-by-vendors' advisories" data sets apparently yields more stable and better results for VDMs. And the performance of the s-shape logistic model (AML) seems to be superior performance in overall. Meanwhile, Anderson thermodynamic model (AT) is indeed not suitable for modeling the vulnerability discovery process. This means that the discovery process of vulnerabilities and normal bugs are different because the interests of people in finding security vulnerabilities are more than finding normal programming bugs.

연구 동기 및 목표

• 기존의 6개의 취약성 발견 모델(VDM)이 실제 소프트웨어 생명주기에서 실제로 적용 가능한지 평가하기 위해.
• 다양한 취약성 정의가 VDM 피팅의 안정성과 품질에 어떤 영향을 미치는지 조사하기 위해.
• VDM이 Firefox와 같은 장기 운영, 지속적으로 변화하는 소프트웨어의 취약성 발견 과정을 신뢰성 있게 모델링할 수 있는지 평가하기 위해.
• 소프트웨어 보안 계획에서 자원 배분을 안내하는 데 가장 적합한 VDM을 특정하기 위해.

제안 방법

• 다양한 취약성 정의 기반으로 다섯 가지 별개의 데이터 세트를 수집함: 원시 NVD 항목, 제조사 고지로 확인된 NVD 항목(NVD.Advice), 그리고 버그 추적 시스템에서 유도된 세 가지 변형(예: ADVICE.Nbug).
• 모델의 안정성과 성능을 정량적으로 평가하기 위해 두 가지 신규 지표를 도입: 적합도 엔트로피와 적합도 품질.
• 비선형 최소 제곱법(비선형 최소 제곱법)을 사용하여 R의 nls() 함수를 통해 6개의 VDM을 데이터에 피팅하고, 결과의 타당성을 확보하기 위해 CurveExpert Pro를 사용해 교차 검증함.
• 버전별 코드베이스를 고려하기 위해 각 브라우저 릴리스를 독립된 응용 프로그램으로 간주하여 주요 버전 변경 시의 통합 오류를 방지함.
• 취약성 발견 사건의 분포가 정규 분포가 아니므로, 정규성 가정을 피하기 위해 통계 테스트를 신중히 선택함.
• Firefox, Chrome, Internet Explorer를 대상으로 한 다수 릴리스 및 다수 브라우저 데이터 세트를 사용하여 다양한 소프트웨어 개발 모델에 일반화 가능성을 확보함.

실험 결과

연구 질문

• RQ1 다양한 브라우저 릴리스에서 독립적으로 검증할 때, 어떤 취약성 발견 모델이 가장 우수한 성능을 보이는가?
• RQ2 취약성의 정의(예: NVD만 vs. 제조사 확인)가 VDM의 적합도와 안정성에 어떤 영향을 미치는가?
• RQ3 신뢰성 기반 모델인 Anderson 열역학(AT) 모델이 실제 소프트웨어의 취약성 발견 과정을 정확히 기술할 수 있는가?
• RQ4 특히 주요 코드베이스 변경이 발생할 경우, VDM은 다양한 브라우저 버전에서 일관되게 성능을 보이는가?
• RQ5 데이터 세트 선택이 VDM 예측의 품질과 신뢰성에 얼마나 큰 영향을 미치는가?

주요 결과

• AML(Alhazmi & Malaiya의 로지스틱) 모델은 모든 데이터 세트에서 적합도 품질과 안정성 측면에서 가장 뛰어난 전반적 성능을 보였다.
• Anderson 열역학(AT) 모델은 모든 경우에서 열악한 성능을 보였으며, 이는 실제 발견 행동과 가정이 맞지 않아 취약성 발견 모델링에 부적합함을 시사한다.
• 제조사 고지로 확인된 데이터 세트는 원시 NVD 항목보다 훨씬 더 안정적이고 품질 높은 모델 피팅을 제공함으로써, 제조사 확인이 데이터 신뢰도를 향상시킨다는 점을 시사한다.
• AML 모델의 3단계 구조(학습기, 선형 발견기, 포화기)가 실제 취약성 발견의 역학을 가장 잘 반영한다.
• 코드 유산을 공유하는 장기 운영 소프트웨어(예: Firefox)는 여러 번의 포화 단계를 보이며, 기존의 VDM은 이를 모델링하지 못해 이러한 경우에서 낮은 피팅 성능을 보임을 설명한다.
• 선형 및 지수 모델(LN, RE, LP)은 발견 과정이 선형 추세를 따를 경우 유사한 성능을 보이지만, 비선형 포화 단계를 모델링할 수 있는 유연성이 부족하다.