[논문 리뷰] Machine Learning for Detecting Data Exfiltration: A Review

Bushra Sabir, Faheem Ullah외 2명|arXiv (Cornell University)|2020. 12. 17.

Advanced Malware Detection Techniques참고 문헌 127인용 수 13

한 줄 요약

이 체계적 문헌 고찰은 데이터 유출을 탐지하기 위한 92개의 기계학습(ML) 기반 접근법을 분석하여, 데이터 기반 및 행동 기반 유형으로 방법을 분류하고 핵심 특징, 데이터셋, 성능 메트릭을 규명한다. 연구 결과 행동 기반 모델은 APT와 같은 복잡한 위협을 더 잘 탐지하지만 더 높은 거짓 경고 비율을 보이며, 데이터 기반 모델은 >95%의 정확도를 달성하지만 주로 데이터 유출의 전달 단계에만 효과적이다.

ABSTRACT

Context: Research at the intersection of cybersecurity, Machine Learning (ML), and Software Engineering (SE) has recently taken significant steps in proposing countermeasures for detecting sophisticated data exfiltration attacks. It is important to systematically review and synthesize the ML-based data exfiltration countermeasures for building a body of knowledge on this important topic. Objective: This paper aims at systematically reviewing ML-based data exfiltration countermeasures to identify and classify ML approaches, feature engineering techniques, evaluation datasets, and performance metrics used for these countermeasures. This review also aims at identifying gaps in research on ML-based data exfiltration countermeasures. Method: We used a Systematic Literature Review (SLR) method to select and review {92} papers. Results: The review has enabled us to (a) classify the ML approaches used in the countermeasures into data-driven, and behaviour-driven approaches, (b) categorize features into six types: behavioural, content-based, statistical, syntactical, spatial and temporal, (c) classify the evaluation datasets into simulated, synthesized, and real datasets and (d) identify 11 performance measures used by these studies. Conclusion: We conclude that: (i) the integration of data-driven and behaviour-driven approaches should be explored; (ii) There is a need of developing high quality and large size evaluation datasets; (iii) Incremental ML model training should be incorporated in countermeasures; (iv) resilience to adversarial learning should be considered and explored during the development of countermeasures to avoid poisoning attacks; and (v) the use of automated feature engineering should be encouraged for efficiently detecting data exfiltration attacks.

연구 동기 및 목표

• 기계학습 기반 데이터 유출 공격 탐지 대응 조치를 체계적으로 검토하고 통합하는 것.
• 기존 연구에서 사용된 기계학습 접근법, 특징 공학 기법, 평가 데이터셋, 성능 메트릭을 분류하는 것.
• 데이터셋 품질, 모델 강건성, 특징 공학 관행 측면에서의 연구 격차를 규명하는 것.
• 기계학습 기반 데이터 유출 탐지 시스템 향상을 위한 실질적인 권고 사항을 제공하는 것.
• 92篇의 검토된 논문을 바탕으로 추세, 한계, 성능 결과를 분석하여 향후 연구를 안내하는 것.

제안 방법

• PRISMA 지침을 따르는 체계적 문헌 고찰(SLR)을 수행하여 관련 연구를 식별하고 선별하는 데 사용.
• 다양한 검색 문자열, 스노볼링(forward 및 backward), 도메인 전용 키워드를 활용하여 포괄적인 검색을 보장.
• 선택 편향을 최소화하기 위해 다단계 단계에서 포함 및 배제 기준을 적용하고, 무작위 샘플 검증을 통한 교차 확인을 실시.
• 기계학습 방법, 특징, 데이터셋, 성능 메트릭에 대한 정보 수집의 일관성을 확보하기 위해 표준화된 데이터 추출 양식을 개발.
• 기계학습 접근법을 데이터 기반 및 행동 기반으로 분류하고, 특징을 행동, 콘텐츠 기반, 통계, 문법, 공간, 시간의 여섯 유형으로 분류.
• 범주 간 데이터 분포가 불균형하여 정량적 통합에 적합하지 않은 경우 중앙값을 사용하여 성능 비교의 신뢰도를 향상.

실험 결과

연구 질문

• RQ1 기계학습 기반 데이터 유출 탐지에서 주로 사용되는 기계학습 접근법은 무엇이며, 성능 및 범위 측면에서 어떻게 다릅니까?
• RQ2 이러한 시스템에서 가장 흔히 사용되는 특징 유형은 무엇이며, 자동 특징 공학 기법은 어느 정도 활용되고 있습니까?
• RQ3 어떤 종류의 평가 데이터셋이 사용되고 있으며, 그 품질과 최신성은 모델 신뢰도에 어떤 영향을 미칩니까?
• RQ4 가장 자주 보고되는 성능 메트릭은 무엇이며, 실제 탐지 효과성과 어떻게 연관되어 있습니까?
• RQ5 기계학습 기반 데이터 유출 탐지 접근법에서 주요 연구 격차와 한계는 무엇입니까?

주요 결과

• 행동 기반 기계학습 접근법은 APT, 라테럴 무브먼트, 내부자 위협과 같은 복잡한 공격 벡터를 더 잘 탐지하지만, 중앙값 거짓 경고 비율(>6%)이 높은 편이다.
• 데이터 기반 접근법은 중앙값 정확도 >95% 및 거짓 경고 비율 <6%를 달성하여 뛰어난 성능을 보이며, 주로 데이터 유출의 전달 단계(예: C2, 데이터 턨널링) 탐지에만 효과적이다.
• 통계적 특징이 가장 흔히 사용되며, 이어 행동 및 시간적 특징이 뒤이른다; 오직 27%의 연구에서 자동 특징 공학 기법을 사용하여 도메인 특화 특징 설계에 크게 의존하고 있음을 시사한다.
• 12개의 공개 데이터셋을 식별했지만, 그 중 8개는 10년 이상 된 것으로, 현대적이고 고품질의 평가 데이터 부족이라는 심각한 격차를 드러낸다.
• Random Forest(RFT)와 Support Vector Machines(SVM)가 가장 흔히 사용되는 분류기이며, 앙상블 모델(RFT, Gradient Boosting, Adaboost)이 가장 높은 F-Score(98%)를 기록했다.
• K-Fold 및 Hold-Out 검증이 주로 사용되며, 정확도, 재현율, 거짓 경고 비율(FPR)이 가장 자주 보고되는 성능 메트릭으로, 피싱, 악성 도메인, 오픈 채널 공격 탐지에 효과적인 경우 중앙값 FPR <2%를 기록했다.