[논문 리뷰] On Benchmarking Intrusion Detection Systems in Virtualized Environments

Aleksandar Milenkoski, Samuel Kounev외 3명|arXiv (Cornell University)|2014. 10. 05.

Network Security and Intrusion Detection참고 문헌 32인용 수 3

한 줄 요약

이 논문은 가상화 환경에서 VMM 기반 침입 탐지 시스템(IDS)을 위한 벤치마킹 프레임워크를 제안하며, 워크로드 표현 및 메트릭스 문제를 다룹니다. 이는 VMM을 대상으로 한 악성 워크로드, 탄력성 고려 메트릭스, 현실적인 정상 워크로드의 필요성을 강조하여 동적 가상화 조건 하에서 IDS 성능과 탐지 정확도를 정확하게 평가할 수 있도록 합니다.

ABSTRACT

Modern intrusion detection systems (IDSes) for virtualized environments are deployed in the virtualization layer with components inside the virtual machine monitor (VMM) and the trusted host virtual machine (VM). Such IDSes can monitor at the same time the network and host activities of all guest VMs running on top of a VMM being isolated from malicious users of these VMs. We refer to IDSes for virtualized environments as VMM-based IDSes. In this work, we analyze state-of-the-art intrusion detection techniques applied in virtualized environments and architectures of VMM-based IDSes. Further, we identify challenges that apply specifically to benchmarking VMM-based IDSes focussing on workloads and metrics. For example, we discuss the challenge of defining representative baseline benign workload profiles as well as the challenge of defining malicious workloads containing attacks targeted at the VMM. We also discuss the impact of on-demand resource provisioning features of virtualized environments (e.g., CPU and memory hotplugging, memory ballooning) on IDS benchmarking measures such as capacity and attack detection accuracy. Finally, we outline future research directions in the area of benchmarking VMM-based IDSes and of intrusion detection in virtualized environments in general.

연구 동기 및 목표

• 가상화 환경에서 VMM 기반 IDS에 대한 표준화된 벤치마킹 방법론의 부족을 해결하기 위해.
• 특히 워크로드 표현 및 메트릭스 설계에 있어 VMM 기반 IDS 벤치마킹에 특화된 과제를 특정하고 분석하기 위해.
• 가상화의 탄력성(예: CPU/메모리 온디맨드 연결 해제)이 IDS 성능과 탐지 정확도에 미치는 영향을 부각하기 위해.
• VMM을 대상으로 하는 대표성 있는 악성 워크로드를 생성하고 정상 사용 프로파일을 정의하기 위한 향후 연구 방향을 제안하기 위해.
• 가상화 배포 환경에서 동적 자원 제공를 명시적으로 고려하는 메트릭스를 주장하기 위해.

제안 방법

• 최신 VMM 기반 IDS 아키텍처 및 침입 탐지 기법(오용 기반 및 이상 기반 탐지 포함)을 분석합니다.
• VMM 수준의 위협에 대한 저항력을 평가하기 위해 VMM을 대상으로 한 공격을 악성 워크로드로 사용할 것을 제안합니다.
• IDS 벤치마킹 중 동적 자원 제공(예: CPU, 메모리)을 반영할 수 있는 탄력성 인지 메트릭스의 필요성을 제시합니다.
• 가상화 시스템에서 실제 배경 트래픽을 시뮬레이션하기 위해 확장 가능하고 이질적인 정상 워크로드의 중요성을 강조합니다.
• 사용 가능한 런타임 자원에 따라 재구성되는 적응형 IDS 구성이 탐지 정확도와 성능에 영향을 미칠 수 있음을 고려합니다.
• 향후 연구로는 성능 서명 기반 탐지 및 VMM에 대한 자동화된 취약점 및 공격 주입 기법을 벤치마킹에 통합하는 방향을 제시합니다.

실험 결과

연구 질문

• RQ1 벤치마킹을 위해 VMM을 대상으로 하는 대표성 있는 악성 워크로드는 어떻게 정의하고 생성할 수 있을까요?
• RQ2 동적 자원 제공가 가능한 탄력적 가상화 환경에서 VMM 기반 IDS 성능을 정확히 평가하기 위해 필요한 메트릭스는 무엇일까요?
• RQ3 요구에 따라 자원을 제공하는 기능(예: 메모리 볼루밍, CPU 온디맨드 연결 해제)은 IDS 탐지 정확도와 자원 소비에 어떤 영향을 미치나요?
• RQ4 가상화 환경에서 진정으로 현실적인 정상 워크로드 프로파일은 무엇을 포함해야 하며, IDS 평가에서 잘못된 경고를 방지할 수 있나요?
• RQ5 다양한 런타임 자원 가용성 하에서 적응형 IDS 구성은 어떻게 평가되어야 하며, 일관된 탐지 성능을 확보할 수 있을까요?

주요 결과

• VMM 기반 IDS는 동시에 여러 게스트 VM을 모니터링할 수 있으며, 악성 게스트 사용자로부터 격리되어 있어 가상화 환경에서 강력한 보안 포지셔닝을 확보합니다.
• 공격 탐지 정확도는 가용 시스템 자원에 크게 영향을 받으며, 메모리나 CPU 자원이 증가할수록 패킷 조각 버퍼링과 같은 시간 민감도가 높은 작업의 탐지 능력이 향상됩니다.
• 기존의 벤치마킹 방법론은 종종 클라우드 환경의 탄력성을 고려하지 않아 VMM 기반 IDS에 대한 잘못된 성능 측정 결과를 초래합니다.
• 벤치마킹 워크로드에 대표성 있는 VMM을 대상으로 한 공격이 부족하여, 고위험도의 하이퍼바이저 공격에 대한 VMM 기반 IDS의 진정된 저항력을 평가할 수 없습니다.
• 가상화 환경에서 '정상' 사용 프로파일을 정의하는 것은 여전히 주요 과제이며, 정상 워크로드는 현실 세계 조건을 반영하기 위해 확장 가능하고 이질적이어야 합니다.
• 향후 벤치마킹은 자원 할당의 확장성과 반응성과 같은 시스템 행동을 반영하는 탄력성 인지 메트릭스를 포함해야 합니다.