[논문 리뷰] Generating Informative CVE Description From ExploitDB Posts by Extractive Summarization

Jiamou Sun, Zhenchang Xing외 5명|arXiv (Cornell University)|2021. 01. 05.

Web Application Security Vulnerabilities참고 문헌 46인용 수 15

한 줄 요약

이 논문은 복잡하고 노이즈가 많은 ExploitDB 게시물에서 정확하고 템플릿에 부합하는 CVE 기술서를 자동으로 생성하기 위한 추출적 요약 방법을 제안한다. NER와 QA 기법을 활용해 제품, 취약성 유형, 공격 벡터 등 9개의 핵심 취약성 요소를 추출함으로써, ROUGE-L 점수가 0.38에 달하는 고품질의 CVE 기술서를 생성하여 취약성 기록의 시기적이고 일관된 문서화를 크게 지원한다.

ABSTRACT

ExploitDB is one of the important public websites, which contributes a large number of vulnerabilities to official CVE database. Over 60\% of these vulnerabilities have high- or critical-security risks. Unfortunately, over 73\% of exploits appear publicly earlier than the corresponding CVEs, and about 40\% of exploits do not even have CVEs. To assist in documenting CVEs for the ExploitDB posts, we propose an open information method to extract 9 key vulnerability aspects (vulnerable product/version/component, vulnerability type, vendor, attacker type, root cause, attack vector and impact) from the verbose and noisy ExploitDB posts. The extracted aspects from an ExploitDB post are then composed into a CVE description according to the suggested CVE description templates, which is must-provided information for requesting new CVEs. Through the evaluation on 13,017 manually labeled sentences and the statistically sampling of 3,456 extracted aspects, we confirm the high accuracy of our extraction method. Compared with 27,230 reference CVE descriptions. Our composed CVE descriptions achieve high ROUGH-L (0.38), a longest common subsequence based metric for evaluating text summarization methods.

연구 동기 및 목표

• ExploitDB에 공개된 취약성에 대해 공식 CVE가 출시되기 전에 73퍼센트 이상의 공격이 게시되고, 약 40퍼센트는 CVE가 전혀 없는 바탕으로, 시기적이고 완전한 CVE 기록 간 격차를 해소한다.
• 비정형적이고 노이즈가 많은 공격 게시물에서 구조화되고 정보적인 CVE 기술서 구성 요소를 자동으로 추출하여 CVE 요청 프로세스를 지원하는 방법을 개발한다.
• 공격 게시물과 해당하는 CVE 항목 간의 불일치를 식별하고 조율하여 CVE 메타데이터의 일관성과 정확성을 확보한다.
• 기존 방법보다 뛰어난 성능을 보이며, 자유형 텍스트 기반의 공격 기술서에서 복잡한 취약성 요소를 추출할 수 있는 확장 가능한 기계학습 기반 솔루션을 개발한다.

제안 방법

• 공격 게시물에서 취약한 제품, 버전, 구성 요소와 같은 소프트웨어 전용 엔티티를 추출하기 위해 명명된 실체 인식(NER) 기법을 적용한다.
• 비정형 텍스트에서 루트 코스, 공격 벡터, 영향, 취약성 유형과 같은 복잡한 절들을 식별하고 추출하기 위해 질문-답변(QA) 기법을 사용한다.
• 표준화된 CVE 기술서 템플릿에 따라 추출된 요소들을 구성하여 최종 CVE 기술서를 작성한다.
• 모델 훈련 및 평가를 위해 13,017개의 수동으로 레이블링된 문장과 통계적 표본 추출을 통해 확보한 3,456개의 추출 요소로 구성된 대규모 데이터셋을 활용한다.
• 생성된 CVE 기술서의 품질 평가를 위해 기준 27,230개의 참조 CVE 기술서와 비교하여 ROUGE-L을 주요 평가 지표로 사용한다.
• 공격 게시물과 공식 CVE 간의 불일치(예: 공격 벡터나 취약성 유형 불일치)를 탐지하고 조율하기 위해 재정비용 봇(janitor bot)을 설계한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 비정형적인 ExploitDB 게시물에서 NLP 기법을 사용해 핵심 취약성 요소를 얼마나 정확하게 추출할 수 있는가?
• RQ2 제안된 추출적 요약 방법이 공식 CVE 기술서 템플릿과 얼마나 잘 일치하는가?
• RQ3 기준 CVE 기술서와 비교했을 때, 이 방법의 ROUGE-L 점수는 어느 정도인가?
• RQ4 공격 게시물과 해당하는 CVE 항목 간의 불일치는 얼마나 퍼진 편인가, 그리고 체계적으로 탐지하고 해결할 수 있는가?
• RQ5 이 제안된 방법은 커뮤니티 기반 공격에 대한 CVE 기록 자동화에 효과적으로 기여할 수 있는가?

주요 결과

• 제안된 방법은 생성된 CVE 기술서를 기준 27,230개의 참조 기술서와 비교해 ROUGE-L 점수 0.38을 기록하여 우수한 요약 품질을 입증한다.
• 제품, 버전, 취약성 유형, 공격 벡터 등 9개의 핵심 취약성 요소 추출이 높은 정확도를 보이며, 13,017개의 수동으로 레이블링된 문장에 대한 평가를 통해 확인되었다.
• ExploitDB에 공개된 공격의 73퍼센트 이상이 공식 CVE가 출시되기 이전에 게시되며, 약 40퍼센트는 CVE가 전혀 없는 것으로 나타나 자동 문서화 지원의 시급성을 보여준다.
• 공격 게시물과 공식 CVE 간의 불일치가 흔히 발생한다(예: 공격 벡터나 취약성 유형 불일치), 이는 자동 조율 기술의 필요성을 입증한다.
• 특히 소프트웨어 보안 텍스트에 특화된 NER와 QA 기법을 융합함으로써, 기존 방법보다 더 뛰어난 복잡한 취약성 절 추출 성능을 보였다.
• 이 방법은 취약성 제출 시 누락되거나 일치하지 않는 요소를 제안할 수 있는 재정비용 봇 개발을 가능하게 하여, 다양한 취약성 데이터베이스 간의 데이터 품질과 일관성을 향상시킨다.