[논문 리뷰] Classifier Suites for Insider Threat Detection

David Noever|arXiv (Cornell University)|2019. 01. 30.

Information and Cyber Security참고 문헌 12인용 수 14

한 줄 요약

이 논문은 CERT 데이터셋을 사용하여 16개의 가족으로 나뉜 88개의 기계학습 알고리즘을 내부자 위협 탐지에 대해 평가하며, 랜덤 포레스트 분류기가 직원의 정서를 포함한 위험 특징을 활용하여 98% 이상의 정확도를 달성하는 것으로 밝혀졌다. 연구는 해석 가능성에 중점을 두어 2000개 이상의 인간이 읽을 수 있는 규칙을 생성하고, 드문 악성 활동(전체 활동의 0.02% 미만)의 탐지를 향상시키기 위해 언더샘플링 및 오버샘플링을 통해 데이터 불균형 문제를 해결한다.

ABSTRACT

Better methods to detect insider threats need new anticipatory analytics to capture risky behavior prior to losing data. In search of the best overall classifier, this work empirically scores 88 machine learning algorithms in 16 major families. We extract risk features from the large CERT dataset, which blends real network behavior with individual threat narratives. We discover the predictive importance of measuring employee sentiment. Among major classifier families tested on CERT, the random forest algorithms offer the best choice, with different implementations scoring over 98% accurate. In contrast to more obscure or black-box alternatives, random forests are ensembles of many decision trees and thus offer a deep but human-readable set of detection rules (>2000 rules). We address performance rankings by penalizing long execution times against higher median accuracies using cross-fold validation. We address the relative rarity of threats as a case of low signal-to-noise (< 0.02% malicious to benign activities), and then train on both under-sampled and over-sampled data which is statistically balanced to identify nefarious actors.

연구 동기 및 목표

• 기업 환경에서 내부자 위협을 탐지하기 위한 가장 효과적인 기계학습 분류기들을 규명하는 것.
• 위험한 내부자 행동을 식별하는 데 있어 행동 특징과 정서 기반 특징의 예측 가치를 평가하는 것.
• 내부자 위협 데이터셋에서 극도로 불균형한 클래스(악성 활동이 0.02% 미만) 문제를 해결하는 것.
• 앙상블 모델을 사용하여 인간이 읽을 수 있는 결정 규칙을 생성함으로써 투명하고 해석 가능한 탐지 시스템을 개발하는 것.
• 교차 검증과 정규화된 순위 기반 평가를 통해 성능, 정확도, 실행 시간 간의 균형을 도모하는 것.

제안 방법

• CERT 내부자 위협 데이터셋에서 16개 주요 가족에 속하는 88개의 기계학습 알고리즘을 경험적으로 평가한다.
• 네트워크 행동 로그와 위협 서술문에서 위험 특징을 추출하며, 여기에는 직원의 정서 지표가 포함된다.
• 희귀 위협 사례의 통계적 균형을 확보하기 위해 언더샘플링 및 오버샘플링 기법을 적용한다.
• 10겹 교차 검증을 사용하여 중앙값 정확도를 평가하고, 성능 순위 매기기 과정에서 장시간 실행을 방지하기 위해 이를 보상한다.
• 랜덤 포레스트 모델을 훈련 및 평가하며, 이는 해석 가능성을 위해 2000개 이상의 인간이 읽을 수 있는 결정 규칙을 생성한다.
• 중앙값 정확도와 실행 시간을 종합적으로 고려한 복합 점수를 기반으로 분류기를 순위 매긴다. 이는 실용적 구현을 우선시하기 위함이다.

실험 결과

연구 질문

• RQ1 CERT 데이터셋에서 내부자 위협 탐지에 가장 잘 작동하는 기계학습 분류기 가족은 무엇인가?
• RQ2 직원의 정서를 특징으로 포함할 경우, 내부자 위협 탐지 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 악성 활동 비율이 0.02% 미만인 데이터 불균형 문제의 영향은 어느 정도이며, 이를 어떻게 완화할 수 있는가?
• RQ4 랜덤 포레스트와 같은 앙상블 모델이 규칙 추출을 통해 높은 정확도와 해석 가능성을 동시에 제공할 수 있는가?
• RQ5 내부자 위협 탐지 시스템에서 정확도, 실행 시간, 해석 가능성 간의 상호 교환 관계는 어떻게 나타나는가?

주요 결과

• 랜덤 포레스트 분류기가 가장 높은 성능을 보였으며, 여러 구현 사례에서 CERT 데이터셋에서 98% 이상의 정확도를 기록했다.
• 직원의 정서를 위험 특징으로 포함시킴으로써 모델의 예측 능력이 크게 향상되었다.
• 랜덤 포레스트는 2000개 이상의 인간이 읽을 수 있는 결정 규칙을 생성하여 탐지 논리의 완전한 해석 가능성과 감사 가능성 확보를 가능하게 했다.
• 연구는 언더샘플링 및 오버샘플링 기법이 극도로 불균형한 데이터를 효과적으로 균형 잡는 데 성공했으며, 희귀 내부자 위협의 탐지 능력을 향상시켰음을 입증했다.
• 장시간 실행을 보상하는 성능 순위 매기기 과정에서, 고정확도와 합리적인 런타임을 갖춘 랜덤 포레스트가 최적의 선택으로 밝혀졌다.
• 모든 테스트된 알고리즘 중에서 랜덤 포레스트가 정확도, 해석 가능성, 계산 효율성 간의 최적의 균형을 제공했다.