[논문 리뷰] Practical Machine Learning for Cloud Intrusion Detection: Challenges and the Way Forward

Ram Shankar Siva Kumar, Andrew Wicker외 1명|arXiv (Cornell University)|2017. 09. 20.

Network Security and Intrusion Detection참고 문헌 14인용 수 14

한 줄 요약

이 논문은 마이크로소프트 애저와 같은 대규모 지리적으로 분산된 환경에서 클라우드 침입 탐지에 대한 기계학습을 구현하는 데 있어 실용적인 과제를 다룹니다. 규칙 기반과 기계학습을 융합한 하이브리드 접근 방식을 제안하여 경고 품질을 향상시키고, 탐지를 넘어서 공격 방해를 차세대 목표로 삼으며, 모델 준수, 데이터 프라이버시, 고립된 시스템, 평가를 위한 레드팀 기반 접근 및 SMOTE와 GAN과 같은 합성 데이터 기법을 포함한 전략을 제시합니다.

ABSTRACT

Operationalizing machine learning based security detections is extremely challenging, especially in a continuously evolving cloud environment. Conventional anomaly detection does not produce satisfactory results for analysts that are investigating security incidents in the cloud. Model evaluation alone presents its own set of problems due to a lack of benchmark datasets. When deploying these detections, we must deal with model compliance, localization, and data silo issues, among many others. We pose the problem of "attack disruption" as a way forward in the security data science space. In this paper, we describe the framework, challenges, and open questions surrounding the successful operationalization of machine learning based security detections in a cloud environment and provide some insights on how we have addressed them.

연구 동기 및 목표

• 대규모이고 동적인 클라우드 인fra에서 실용적이고 운영 가능한 기계학습에 대한 격차를 메우기.
• 기존의 이상 탐지 기법이 너무 많은 임의의 경고를 생성하고 보안 관련 사건과 양성 통계적 이심치를 구분하지 못한다는 한계를 극복하기.
• 단순히 침입을 반응적으로 탐지하는 것에서 그치지 않고, 적대자를 사전에 차단하고 추방하는 활동적 공격 방해로의 전환을 위한 프레임워크 개발.
• Azure의 300개 이상의 백엔드 서비스에 걸쳐 존재하는 모델 준수, 데이터 로컬라이제이션, 지리적 분포, 고립된 데이터 등의 실제 과제 해결.
• 보안 데이터 과학 커뮤니티가 블루팀의 사고 대응 라이프사이클 자동화에 대해 실질적인 통찰과 열린 질문을 제공하기.

제안 방법

• 경고의 관련성과 임의의 경고 수를 줄이기 위해 규칙 기반 필터와 기계학습을 융합한 하이브리드 탐지 모델 사용.
• 고품질의 레이블이 부여된 평가 데이터를 모델 훈련 및 검증을 위해 레드팀 운영과 내부 보안 제품을 활용.
• 희귀 공격 시나리오에서의 데이터 부족과 클래스 불균형 문제를 해결하기 위해 SMOTE와 가능하면 GAN과 같은 데이터 증강 기법 적용.
• 분석가의 경고 우선순위 정하기에 있어 투명성과 신뢰를 확보하기 위해 모델 해석 기법 구현.
• 36개의 글로벌 데이터 센터에서의 데이터 로컬라이제이션 및 준수 제약을 고려한 지역 인식 모델 설계.
• 공격 체인 기반의 프레임워크를 도입하여 공격 방해를 실현하고, NLP, 챗봇, 추천 시스템을 활용해 분석가의 대응 조치를 자동화하고 안내.

실험 결과

연구 질문

• RQ1 기계학습 모델은 클라우드 워크로드에서 보안 관련 이상 현상과 양성 통계적 이심치를 어떻게 정확히 구분할 수 있는가?
• RQ2 표준 기준 데이터셋이 없는 상황에서 클라우드 침입 탐지 시스템을 평가하기 위한 효과적인 전략은 무엇인가?
• RQ3 글로벌 클라우드 인fra에서 기계학습 기반 보안 시스템의 설계 및 구현 시 모델 준수, 데이터 로컬라이제이션, 프라이버시 제약을 어떻게 통합할 수 있는가?
• RQ4 지능형 자동화를 통해 공격 탐지에서 활동적 공격 방해로의 전환에 있어 핵심 과제와 기회는 무엇인가?
• RQ5 수백 개의 백엔드 서비스에 걸쳐 존재하는 고립된 탐지 시스템을 성능이나 프라이버시를 훼손하지 않고 통합하는 방법은 무엇인가?

주요 결과

• 기존의 이상 탐지 기법만으로는 고임의 경고 비율과 보안 관련성 부족으로 인해 클라우드 환경에서 실질적인 경고를 도출하지 못함.
• 규칙과 기계학습을 융합한 하이브리드 접근 방식이 순수 기계학습 모델보다 경고 품질과 분석가의 경고 우선순위 정리 효율을 크게 향상시킴.
• 레드팀 운영과 내부 보안 텔레메트리 자료를 활용해 효과적으로 고품질의 평가 데이터를 생성할 수 있으며, 이는 현실적인 모델 훈련 및 검증을 가능하게 함.
• SMOTE와 GAN과 같은 데이터 증강 기법은 희귀 공격 패tern의 클래스 불균형과 부족 문제를 해결하기 위해 합성 공격 데이터 생성에 유용함.
• 모델 해석 능력은 운영 성공에 필수적이며, 보안 분석가가 기계학습 기반 경고에 대해 신뢰를 가지고 대응하기 위해서는 투명성이 필요함.
• 자동화, NLP, 추천 시스템을 통한 공격 탐지에서 공격 방해로의 전환은 현대 클라우드 인프라 보안을 위한 핵심적인 다음 단계임.