[논문 리뷰] That Escalated Quickly: An ML Framework for Alert Prioritization

Ben Gelman, Salma Taoufiq외 2명|arXiv (Cornell University)|2023. 02. 13.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 자동 특성 추출, 앙상블 학습, 분석가 피드백 통합을 활용하여 경고 및 사건의 가용성 가능성을 예측함으로써 관리되는 보안 운영 센터(SOC)에서 경고 과부하를 줄이는 기계학습 프레임워크인 TEQ를 제시한다. 실전 배포에서 가용성 있는 사건의 대응 시간을 22.9% 감소시키며, 54%의 가짜 양성 결과를 억제하고 95.1%의 탐지율을 유지했으며, 사건당 분석가의 조사 부담을 14% 감소시켰다.

ABSTRACT

In place of in-house solutions, organizations are increasingly moving towards managed services for cyber defense. Security Operations Centers are specialized cybersecurity units responsible for the defense of an organization, but the large-scale centralization of threat detection is causing SOCs to endure an overwhelming amount of false positive alerts -- a phenomenon known as alert fatigue. Large collections of imprecise sensors, an inability to adapt to known false positives, evolution of the threat landscape, and inefficient use of analyst time all contribute to the alert fatigue problem. To combat these issues, we present That Escalated Quickly (TEQ), a machine learning framework that reduces alert fatigue with minimal changes to SOC workflows by predicting alert-level and incident-level actionability. On real-world data, the system is able to reduce the time it takes to respond to actionable incidents by $22.9\%$, suppress $54\%$ of false positives with a $95.1\%$ detection rate, and reduce the number of alerts an analyst needs to investigate within singular incidents by $14\%$.

연구 동기 및 목표

• 높은 수준의 가짜 양성 결과와 중복 경고로 인해 발생하는 중심화된 관리되는 보안 운영 센터(SOC)에서의 경고 과부하 문제를 해결하기 위해.
• 기존 SOC 워크플로우에 영향을 주지 않으면서도 경고 우선순위 정하기와 사건 대응 효율성을 향상시키기 위해.
• 하드코딩된 규칙 없이 분석가 피드백으로부터의 적응형 학습을 가능하게 하여 변화하는 위협 환경에 대응하기 위해.
• 다양한 고객 환경에 스케일링할 수 있도록 이질적이고 부분적으로 구조화된 센서 데이터를 활용하기 위해.
• 자동화된 경고 수준 및 사건 수준의 스코어링을 통해 분석가의 작업 부담을 줄이기 위해.

제안 방법

• TEQ는 부분적으로 구조화된 센서 데이터를 분석하고 검증하는 자동 특성 추출 파이프라인을 사용하며, 누락된 값과 데이터 일관성 문제를 처리한다.
• 시간적 계산 처리는 고객 및 엔드포인트 전반의 역사적 경고 패턴을 분석하여 특성 벡터에 맥락 정보를 부여한다.
• 경고 수준과 사건 수준에서 복합 위험 스코어를 생성하기 위해 두 개의 별도된 기계학습 모델을 훈련하고 앙상블한다.
• 선별 모듈은 이러한 스코어를 사용하여 사건을 우선순위 정하고 가짜 양성 결과를 억제하며, 사건 내 경고의 순서를 재정렬하여 분석 속도를 향상시킨다.
• 비침습적인 피드백 루프는 분석가의 해결 결과를 캡처하고 파이프라인을 통해 다시 처리하여 모델 성능을 점진적으로 향상시킨다.
• 분석가 GUI 내에서 맥락을 위해 연도순 정렬과 신속한 가용성 가능성을 위한 TEQ 스코어 정렬을 동시에 지원한다.

실험 결과

연구 질문

• RQ1 기존 분석가 워크플로우를 방해하지 않으면서도 기계학습 프레임워크가 관리되는 SOC 환경에서 경고 과부하를 줄일 수 있는가?
• RQ2 이질적이고 부분적으로 구조화된 센서 데이터에서 자동 특성 추출이 경고 우선순위 정하기 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 수동 규칙 설계 없이 피드백 기반 시스템이 새로운 위협과 알려진 가짜 양성 결과에 얼마나 효과적으로 적응할 수 있는가?
• RQ4 경고 수준 및 사건 수준의 스코어링이 분석가의 조사 시간과 가짜 양성 결과의 양을 줄이는 데 어떤 영향을 미치는가?
• RQ5 장기간의 실전 배포 기간 동안 대규모의 가짜 양성 결과를 억제하면서도 높은 탐지율을 유지할 수 있는가?

주요 결과

• TEQ는 실전 배포에서 가용성 있는 사건의 평균 대응 시간을 22.9% 감소시켰다.
• 시스템은 한 달 간의 테스트 기간 동안 54%의 가짜 양성 결과를 억제하면서도 가용성 있는 사건의 탐지율을 95.1% 유지했다.
• TEQ 스코어 기반의 사건 내 경고 우선순위 정렬로 인해 분석가가 조사해야 할 경고 수가 평균 14% 감소했다.
• 프레임워크는 시간이 지남에 따라 핵심 특성과 모델 유형의 변화에도 강건함을 보이며 장기적인 신뢰성을 입증했다.
• 피드백 루프를 통해 새로운 위협과 가짜 양성 결과에 지속적으로 적응할 수 있었으며, 명시적 규칙 업데이트가 필요로 하지 않았다.
• 다양한 고객 간 맥락 특성의 통합은 특히 다수의 대규모 MDR 배포에서 모델 일반화 능력을 향상시켰다.