[논문 리뷰] Machine Learning (In) Security: A Stream of Problems

Fabrício Ceschin, Marcus Botacin외 5명|arXiv (Cornell University)|2020. 10. 30.

Network Security and Intrusion Detection인용 수 11

한 줄 요약

이 논문은 기계학습을 사이버보안에 적용할 때 발생하는 핵심 과제들을 규명한다. 이 과제들은 개념 드프트(concept drift), 데이터 레이블링 문제, 클래스 불균형, 적대적 공격, 지연된 레이블 등이다. 연구는 데이터 수집, 모델링, 평가 과정에서 흔히 발생하는 함정들을 해결함으로써 실생활 적용이 가능한 강력한 기계학습 솔루션을 개발하는 데 도움이 되는 종합적인 체크리스트를 제안한다.

ABSTRACT

Machine Learning (ML) has been widely applied to cybersecurity and is considered state-of-the-art for solving many of the open issues in that field. However, it is very difficult to evaluate how good the produced solutions are, since the challenges faced in security may not appear in other areas. One of these challenges is the concept drift, which increases the existing arms race between attackers and defenders: malicious actors can always create novel threats to overcome the defense solutions, which may not consider them in some approaches. Due to this, it is essential to know how to properly build and evaluate an ML-based security solution. In this paper, we identify, detail, and discuss the main challenges in the correct application of ML techniques to cybersecurity data. We evaluate how concept drift, evolution, delayed labels, and adversarial ML impact the existing solutions. Moreover, we address how issues related to data collection affect the quality of the results presented in the security literature, showing that new strategies are needed to improve current solutions. Finally, we present how existing solutions may fail under certain circumstances, and propose mitigations to them, presenting a novel checklist to help the development of future ML solutions for cybersecurity.

연구 동기 및 목표

• 학계의 기계학습 연구와 실생활 사이버보안 응용 간 격차를 해소하기 위해.
• 개념 드프트, 데이터 泄露, 적대적 예외 등 기계학습을 사이버보안에 적용할 때의 핵심 과제들을 규명하고 분석하기 위해.
• 클래스 불균형, 지연된 레이블링과 같은 데이터 품질 문제들이 모델의 신뢰성과 평가에 미치는 영향을 부각하기 위해.
• 기계학습 기반 사이버보안 솔루션의 개발과 검토를 안내하기 위한 체계적인 체크리스트를 제안하기 위해.
• 실생활 위협과 부합하는 실용적이고 강력하며 지속 가능한 솔루션을 확보하기 위해 '의미 있는 기계학습(machine learning that matters)' 원칙을 홍보하기 위해.

제안 방법

• 실생활 적용 가능성과 보안 강건성의 관점에서 기존의 기계학습 기반 사이버보안 솔루션을 체계적으로 분석하기 위해.
• 핵심 과제들을 분류하고 논의하기 위해: 개념 드프트, 적대적 기계학습, 지연된 레이블링, 데이터 수집 문제(예: 레이블링 병목 현상, 데이터 泄露 등).
• 사이버보안 분야에서 흔히 사용되는 기계학습 관행의 한계를 평가하기 위해, 예를 들어 불균형 데이터셋에 대한 의존성과 오프라인 평가 방법의 한계를 다루기 위해.
• 발견된 함정들에서 유래한 실용적인 체크리스트를 도입하여 모델 설계, 구현, 평가를 안내하기 위해.
• 지속적인 학습과 강건성 검증을 통해 변화하는 위협과 적대적 행동에 대응하기 위해 권장하기 위해.
• 모델의 내구성을 향상시키기 위해 비용 감수성 학습, 일변도 모델, 전이 학습 등의 기법을 도입할 것을 권장하기 위해.

실험 결과

연구 질문

• RQ1 개념 드프트와 적대적 예외는 기계학습 기반 사이버보안 시스템의 신뢰성에 어떻게 악영향을 미치는가?
• RQ2 클래스 불균형, 지연된 레이블링, 레이블링 병목 현상 등의 데이터 수집 문제들은 모델 성능과 평가에 어떤 방식으로 영향을 미치는가?
• RQ3 왜 많은 기계학습 솔루션이 통제된 실험에서는 뛰어난 성능을 보이지만 실생활 배포에서는 일반화에 실패하는가?
• RQ4 연구자들이 자신의 기계학습 솔루션이 강건하고 실용적이며 실생활 위협 역학과 부합하도록 보장하기 위해 어떤 체계적인 관행을 채택할 수 있는가?
• RQ5 표준화된 체크리스트는 기계학습 기반 사이버보안 솔루션의 설계, 구현, 검토를 어떻게 향상시킬 수 있는가?

주요 결과

• 개념 드프트, 지연된 레이블링, 적대적 공격 등의 문제들이 해결되지 않아 많은 기계학습 기반 사이버보안 솔루션이 실생활에서 실패한다.
• 클래스 불균형 문제는 여전히 주요 과제로 남아 있으며, 일부 데이터셋에서는 악성 샘플 비율이 1%에서 30% 사이에 머물러 있어 모델 성능에 편향을 유발한다.
• 레이블링은 전문 지식이 필요하고 모델 업데이트를 지연시키므로 핵심 병목 현상이 되며, 특히 빠르게 변화하는 위협 환경에서는 더욱 심각하다.
• 지속적인 학습과 강건성 검증이 필요함을 입증하기 위해, 정적 데이터로 학습된 모델은 적대적 공격를 회피할 수 없다.
• 오프라인 평가 방법은 레이블이 지연되거나 개념이 시간이 지남에 따라 변화하는 경우, 실생활의 역동성을 반영하지 못하는 경향이 있다.
• 제안된 체크리스트는 데이터, 모델링, 평가 과정에서 흔히 발생하는 함정들을 체계적으로 다룸으로써 모델 개발의 철저함을 크게 향상시킨다.