[논문 리뷰] Deep Learning for Insider Threat Detection: Review, Challenges and Opportunities

Shuhan Yuan, Xintao Wu|arXiv (Cornell University)|2020. 05. 25.

Network Security and Intrusion Detection참고 문헌 82인용 수 19

한 줄 요약

이 논문은 내부자 위협 탐지에 대한 딥러닝 응용을 검토하며, RNN, GNN, CNN과 같은 모델이 전통적인 기계학습보다 복잡한 행동 패턴을 종단 간(end-to-end)으로 학습함으로써 탐지 성능을 향상시킨다는 점을 강조한다. 성과 향상에도 불구하고 데이터 부족과 적응형 공격 등의 과제가 성능을 제한하며, 이에 따라 설명 가능한 AI, 강화학습, 누적 재현율(CR-k)과 같은 개선된 평가 지표에 대한 요구가 제기된다.

ABSTRACT

Insider threats, as one type of the most challenging threats in cyberspace, usually cause significant loss to organizations. While the problem of insider threat detection has been studied for a long time in both security and data mining communities, the traditional machine learning based detection approaches, which heavily rely on feature engineering, are hard to accurately capture the behavior difference between insiders and normal users due to various challenges related to the characteristics of underlying data, such as high-dimensionality, complexity, heterogeneity, sparsity, lack of labeled insider threats, and the subtle and adaptive nature of insider threats. Advanced deep learning techniques provide a new paradigm to learn end-to-end models from complex data. In this brief survey, we first introduce one commonly-used dataset for insider threat detection and review the recent literature about deep learning for such research. The existing studies show that compared with traditional machine learning algorithms, deep learning models can improve the performance of insider threat detection. However, applying deep learning to further advance the insider threat detection task still faces several limitations, such as lack of labeled data, adaptive attacks. We then discuss such challenges and suggest future research directions that have the potential to address challenges and further boost the performance of deep learning for insider threat detection.

연구 동기 및 목표

• 실제 데이터셋과 딥 아키텍처를 활용한 내부자 위협 탐지에 대한 딥러닝의 최근 발전을 조사하기 위해.
• 딥러닝을 내부자 위협 탐지에 적용할 때 발생하는 주요 과제, 특히 데이터 희소성, 레이블이 부여된 위협 부족, 적응형 공격 등을 규명하기 위해.
• 설명 가능한 AI, 딥 강화학습, 개선된 평가 지표와 같은 향후 연구 방향을 제안하기 위해.
• 특히 딥러닝을 활용한 내부자 위협 탐지에 초점을 맞춘 종합적인 리뷰가 부족한 점을 메우기 위해.
• 내부자 위협의 고위험성, 저빈도성 특성을 감안한 개선된 테스트베드와 평가 지표를 도입할 것을 주장하기 위해.

제안 방법

• 감사 데이터를 활용해 내부자 위협 탐지에 적용된 딥러닝 모델—특히 RNN, CNN, GNN, 오토에인코더—에 대한 최근 문헌을 조사하기 위해.
• CERT 데이터셋을 내부자 위협 연구의 표준 벤치마크로 분석하며, 그가 인위적이고 단순화된 성격을 지닌다는 점을 지적하기 위해.
• 환경과의 상호작용을 통해 최적의 탐지 정책을 학습할 수 있는 프레임워크로 딥 강화학습을 제안하며, 보상 함수를 추론하기 위해 역강화학습(inverse RL)의 잠재적 활용 가능성을 고려하기 위해.
• 모델의 해석 가능성과 악성 시퀀스의 미세한 탐지 능력을 향상시키기 위해 대체적 설명(Counterfactual explanations)과 같은 설명 가능한 AI 기법을 통합하기 위해.
• 실제 운영 제약 조건을 반영하기 위해 다양한 탐지 예산에 걸쳐 성능을 집계하는 누적 재현율(CR-k)이라는, 재현율 기반 평가 지표를 사용해 모델 성능을 평가하기 위해.
• 저샷 내부자 위협 시나리오에서의 데이터 부족 문제를 완화하기 위해 메타학습과 이mitation 학습을 딥 강화학습과 융합하기 위해.

실험 결과

연구 질문

• RQ1 다양한 데이터 모odal리티에서, 딥러닝 모델은 전통적인 기계학습 대비 내부자 위협 탐지에서 어떻게 성능을 발휘하는가?
• RQ2 특히 데이터 희소성과 적응형 공격자 행동에 비춰볼 때, 딥러닝을 내부자 위협 탐지에 적용하는 데 있어 핵심 과제는 무엇인가?
• RQ3 딥 강화학습은 내부자 위협 탐지에 효과적으로 적용될 수 있는가? 그리고 적절한 보상 함수를 설계하는 데에 직면하는 장애물은 무엇인가?
• RQ4 설명 가능한 AI 기법은 고위험 내부자 위협 탐지에서 딥러닝 모델의 신뢰성과 정밀도를 어떻게 향상시킬 수 있는가?
• RQ5 내부자 위협 탐지에 가장 적합한 평가 지표는 무엇이며, CR-k와 같은 신규 지표는 운영 성능를 어떻게 더 잘 반영할 수 있는가?

주요 결과

• RNN 및 GNN과 같은 딥러닝 모델은 원시 또는 최소한의 전처리가 가공된 사용자 행동 데이터로부터 계층적 표현을 자동으로 학습함으로써 전통적인 기계학습보다 뛰어난 성능을 발휘한다.
• 성능 향상에도 불구하고, 내부자 위협 탐지용 딥러닝 모델은 특히 드문 악성 이벤트에 대해 레이블이 부족하여 학습 및 일반화에 어려움을 겪는다.
• 내부자가 탐지 회피를 위해 행동을 수정하는 적응형 공격는 심각한 과제를 제기하며, 기존 모델은 변화하는 위협 패tern에 대해 일반화하기 어려운 경향이 있다.
• 누적 재현율(CR-k) 지표는 표준 F1 또는 AUC보다 더 실용적인 평가 척도로 제안되며, 이는 실제 탐지 예산을 반영하고 정밀도보다 재현율을 우선시하기 때문이다.
• 설명 가능한 AI, 특히 대체적 설명 기법은 악성 예측을 유발하는 특정 행동 패턴을 식별함으로써 세밀한 위협 분석을 가능하게 하여 잠재력을 보여준다.
• 향후 연구는 메타학습과 이mitation 학습을 딥 강화학습과 융합하여 데이터 의존도를 줄이고 저데이터 환경에서의 강건성을 향상시켜야 한다.