[논문 리뷰] PicoDomain: A Compact High-Fidelity Cybersecurity Dataset

Craig Laprade, Benjamin Bowman외 1명|arXiv (Cornell University)|2020. 08. 20.

Anomaly Detection Techniques and Applications참고 문헌 3인용 수 5

한 줄 요약

PicoDomain은 실제 도구, 기법, 절차(TTP)를 사용한 현실적인 소규모 네트워크 침입을 기반으로 한 Zeek 로그에서 유도된 작고 고정밀도의 사이버보안 데이터셋을 제공한다. 이 데이터셋은 데이터 익명화 없이 참값을 제공함으로써 보안 분석의 빠른 검증과 반복적 개발을 가능하게 하며, 통계적 분석 및 표준 기계학습 기법을 통해 검증되었다.

ABSTRACT

Analysis of cyber relevant data has become an area of increasing focus. As larger percentages of businesses and governments begin to understand the implications of cyberattacks, the impetus for better cybersecurity solutions has increased. Unfortunately, current cybersecurity datasets either offer no ground truth or do so with anonymized data. The former leads to a quandary when verifying results and the latter can remove valuable information. Additionally, most existing datasets are large enough to make them unwieldy during prototype development. In this paper we have developed the PicoDomain dataset, a compact high-fidelity collection of Zeek logs from a realistic intrusion using relevant Tools, Techniques, and Procedures. While simulated on a small-scale network, this dataset consists of traffic typical of an enterprise network, which can be utilized for rapid validation and iterative development of analytics platforms. We have validated this dataset using traditional statistical analysis and off-the-shelf Machine Learning techniques.

연구 동기 및 목표

• 프로토타ип 개발에 적합한 고정밀도, 참값 레이블이 부여된 사이버보안 데이터셋의 부족을 해소하기 위해.
• 기존 데이터셋이 참값이 없거나 민감한 정보를 익명화하기 때문에 발생하는 제약을 극복하기 위해.
• 기업 수준의 네트워크 트래픽 패턴을 반영하는 작고 대표적인 데이터셋을 구축하기 위해.
• 보안 분석 플랫폼의 빠른 검증과 반복적 개발을 지원하기 위해.
• 정밀도를 훼손하지 않으면서도 기계학습 및 통계 분석에 활용 가능한 데이터셋을 유지하기 위해.

제안 방법

• 제어된 소규모 네트워크 환경을 사용하여 실제 세계의 사이버 침입을 시뮬레이션하여 데이터셋을 생성하였다.
• 침입 시뮬레이션 동안 모든 네트워크 트래픽을 기록하기 위해 Zeek(이전 이름은 Bro) 네트워크 모니터링 도구를 사용하였다.
• 침입 시나리오는 기업 환경에서 흔히 관찰되는 실제 도구, 기법, 절차(TTP)를 포함하였다.
• 데이터 분석가의 가치를 유지하기 위해 데이터 익명화 없이 전체 네트워크 메타데이터 및 연결 세부 정보를 유지하였다.
• 트래픽 패턴의 대표성을 확인하기 위해 통계적 검증을 수행하였다.
• 이상 탐지 및 분류 작업에 대한 데이터셋의 유용성을 평가하기 위해 표준 기계학습 모델을 적용하였다.

실험 결과

연구 질문

• RQ1 실제로 작동하는 소규모 네트워크 침입에서 유도된 작고 고정밀도의 참값이 부여된 데이터셋을 만들 수 있는가?
• RQ2 데이터 익명화 대비 전체 네트워크 메타데이터를 유지하는 것이 보안 분석에 대한 데이터셋의 유용성을 향상시키는가?
• RQ3 데이터셋이 보안 분석 플랫폼의 빠른 검증과 반복적 개발을 어느 정도 지원할 수 있는가?
• RQ4 표준 통계 및 기계학습 기법을 사용할 때 데이터셋의 성능은 얼마나 우수한가?
• RQ5 프로토콜 다양성과 연결 행동 측면에서 데이터셋은 기업 수준의 네트워크 트래픽을 얼마나 잘 반영하는가?

주요 결과

• PicoDomain 데이터셋은 다양한 프로토콜과 연결 패턴을 포함한 기업 환경에서 흔히 볼 수 있는 실제 네트워크 행동을 성공적으로 캡처하였다.
• 전체 네트워크 메타데이터를 유지함으로써 고정밀도를 유지하였으며, 데이터 익명화 없이도 세밀한 분석이 가능하였다.
• 통계적 분석을 통해 데이터셋의 트래픽 패턴이 실제 기업 네트워크 활동과 유사하다는 것이 확인되었다.
• 표준 기계학습 모델이 데이터셋에서 의미 있는 성능을 달성하여, 보안 분석의 학습 및 테스트에 대한 데이터셋의 유용성이 검증되었다.
• 기존 대안 대비 작고 효율적인 크기 덕분에 프로토타입 개발 및 반복 테스트에 효과적으로 활용될 수 있었다.
• 침입 탐지 및 대응 평가에 대한 신뢰할 수 있는 참값을 제공하여 결과 검증 시 모호성을 줄였다.