[논문 리뷰] Insider Threat Detection via Hierarchical Neural Temporal Point Processes

Shuhan Yuan, Panpan Zheng외 2명|arXiv (Cornell University)|2019. 10. 08.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 내부 위협 탐지 성능을 향상시키기 위해 활동 유형과 다중 척도 시간 패턴(내세션 및 외세션)을 함께 모델링하는 계층적 신경 시계점프로세스 모델을 제안한다. 이중 LSTM을 사용하여 비선형적 시간 및 활동 유형 간의 종속성을 포착하며, CERT 데이터셋에서 AUC 0.9033, 위키백과 훼손 탐지에서 AUC 0.9496을 달성하여 시간 동적성을 忽시하는 기존 모델들을 크게 능가한다.

ABSTRACT

Insiders usually cause significant losses to organizations and are hard to detect. Currently, various approaches have been proposed to achieve insider threat detection based on analyzing the audit data that record information of the employee's activity type and time. However, the existing approaches usually focus on modeling the users' activity types but do not consider the activity time information. In this paper, we propose a hierarchical neural temporal point process model by combining the temporal point processes and recurrent neural networks for insider threat detection. Our model is capable of capturing a general nonlinear dependency over the history of all activities by the two-level structure that effectively models activity times, activity types, session durations, and session intervals information. Experimental results on two datasets demonstrate that our model outperforms the models that only consider information of the activity types or time alone.

연구 동기 및 목표

• 기존 내부 위협 탐지 방법이 활동 유형에만 초점을 맞추고 시간 동적성을 忽시하는 한계를 해결하기 위해.
• 더 정확한 이상 탐지 위해 사용자 활동 시퀀스의 내세션 및 외세션 시간 패턴을 모두 모델링하기 위해.
• 계층적 순환 구조를 사용해 감사 로그의 비선형 종속성을 포착하는 딥러닝 프레임워크 개발하기 위해.
• 실제 내부 위협 및 훼손 탐지 데이터셋에서 모델 성능 평가하여 시간 정보의 가치 입증하기 위해.
• 활동 유형과 시간 정보를 조합한 모델이 단일 모odal(유형 또는 시간)만 사용하는 모델보다 뛰어난 탐지 성능을 보이는지 입증하기 위해.

제안 방법

• 모델은 이중 레벨 LSTM 아키텍처를 활용한다: 하위 레벨의 시퀀스-투-시퀀스 모델은 마킹된 시계점프로세스 프레임워크를 사용해 내세션 활동 시간과 유형을 포착한다.
• 상위 레벨 LSTM은 하위 레벨 인코더의 첫 번째 및 마지막 은닉 상태를 기반으로 세션 간격과 지속시간을 예측함으로써 외세션 동적 패턴을 모델링한다.
• 하위 레벨 모델은 이전 세션들을 기반으로 다음 세션의 활동 시퀀스를 예측하도록 훈련되어 사용자 행동의 동적 모델링을 가능하게 한다.
• 계층적 구조 덕분에 모델은 세션 내 세부적인 활동 시기와 더 넓은 세션 수준의 시간 패턴을 모두 학습할 수 있다.
• 정상 사용자 활동 시퀀스에 대해 훈련된 모델은 예측된 세션과 관측된 세션 간의 괴리 정도를 측정함으로써 이상을 탐지한다.
• 활동 시간 및 유형의 예측 오차를 바탕으로 사기 스코어를 계산하여 잠재적 내부 위협을 경고한다.

실험 결과

연구 질문

• RQ1 계층적 신경 시계점프로세스 모델은 사용자 활동 시퀀스의 내세션 및 외세션 시간 패턴을 효과적으로 포착할 수 있는가?
• RQ2 활동 시간과 세션 구조를 포함한 다중 척도 시간 정보를 통합하면, 단지 활동 유형 또는 단지 시간 정보만 사용하는 모델보다 내부 위협 탐지 성능이 향상되는가?
• RQ3 기존 이상 탐지 기반 모델인 One-class SVM 및 Isolation Forest와 비교해 본다면, 제안된 모델은 내부 위협 탐지에서 어떤 성능을 보이는가?
• RQ4 실제 사례인 위키백과 훼손 상황에서 활동 간 간격 시간 패턴은 악성 행동과 양성 행동을 얼마나 잘 구분하는가?
• RQ5 이 모델은 시간 패턴이 미묘한 내부 위협 유형에도 일반화 가능한가?

주요 결과

• CERT 내부 위협 데이터셋에서 제안된 모델은 활동 유형과 다중 척도 시간 정보를 조합하여 AUC 0.9033을 달성하였으며, 단지 유형 또는 단지 시간 정보만 사용하는 기준 모델들보다 유의미하게 뛰어난 성능을 보였다.
• 시간 정보가 포함된 경우 One-class SVM 및 Isolation Forest보다 성능이 뚜렷이 뛰어나, 탐지에서 시간 동적성의 중요성을 입증하였다.
• UMDWikipedia 데이터셋에서 모델은 내세션 활동 시간과 유형을 모델링하여 훼손 탐지에서 AUC 0.9496을 달성하였으며, 단지 유형만 사용하는 모델(AUC=0.7399)이나 단지 시간만 사용하는 모델(AUC=0.9121)을 모두 능가하였다.
• 결과는 활동 간 간격 시간 패턴이 일반 사용자와 훼손자 간 강력한 분류 기준이 되며, 시간 정보만 사용하는 모델도 높은 성능(AUC=0.9121)을 달성하고 있음을 보여준다.
• 활동 유형과 시간 정보를 조합했을 때 모델은 최고의 성능(AUC=0.9496)을 기록하였으며, 이는 다중 모odal 모델링이 탐지 정확도를 향상시킨다는 것을 확인한다.
• 과거 패턴을 기반으로 향후 세션을 예측할 수 있는 모델의 능력 덕분에 이상 탐지가 효과적으로 가능해지며, 예측과의 심각한 이질성은 잠재적 내부 위협을 시사한다.