[논문 리뷰] Recurrent Neural Network Language Models for Open Vocabulary Event-Level Cyber Anomaly Detection

Aaron Tuor, Ryan Baerwolf외 4명|arXiv (Cornell University)|2017. 12. 02.

Network Security and Intrusion Detection참고 문헌 22인용 수 27

한 줄 요약

이 논문은 원시 시스템 로그 라인을 사용하여 개방형 어휘, 이벤트 수준의 사이버 이상 탐지에 적합한 비지도, 온라인 순환 신경망(RNN) 언어 모델을 제안한다. 로그 시퀀스를 자연어로 모델링하고 양방향 문자 기반 RNN을 활용함으로써, 도메인 특화 기능 공학 없이도 최신 기술 수준의 성능을 달성하며, LANL 사이버 보안 데이터셋에서 AUC 0.98를 기록한다. 이는 로그 라인 수준에서 악성 활동을 세밀하게 실시간으로 탐지할 수 있도록 한다.

ABSTRACT

Automated analysis methods are crucial aids for monitoring and defending a network to protect the sensitive or confidential data it hosts. This work introduces a flexible, powerful, and unsupervised approach to detecting anomalous behavior in computer and network logs, one that largely eliminates domain-dependent feature engineering employed by existing methods. By treating system logs as threads of interleaved "sentences" (event log lines) to train online unsupervised neural network language models, our approach provides an adaptive model of normal network behavior. We compare the effectiveness of both standard and bidirectional recurrent neural network language models at detecting malicious activity within network log data. Extending these models, we introduce a tiered recurrent architecture, which provides context by modeling sequences of users' actions over time. Compared to Isolation Forest and Principal Components Analysis, two popular anomaly detection algorithms, we observe superior performance on the Los Alamos National Laboratory Cyber Security dataset. For log-line-level red team detection, our best performing character-based model provides test set area under the receiver operator characteristic curve of 0.98, demonstrating the strong fine-grained anomaly detection performance of this approach on open vocabulary logging sources.

연구 동기 및 목표

• 기존 이상 탐지 방법이 수작업으로 만든 도메인 특화 기능에 크게 의존하는 한계를 해결하기 위해.
• 시스템 구성에 대한 사전 가정 없이 개방형 어휘 네트워크 로그에서 세밀한 로그라인 수준의 이상 탐지 기능을 가능하게 하기 위해.
• 기능 공학을 제거함으로써 구현 시간을 단축하고 다양한 네트워크 환경에 대한 적응성을 높이기 위해.
• 원시 로그 토큰의 순차적 패턴을 직접 모델링함으로써 탐지 민감도를 향상시키고 가짜 경고를 줄이기 위해.
• 특히 문자 수준 및 양방향 변형을 포함한 RNN 기반 언어 모델이 미세하거나 새로운 사이버 위협을 탐지하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 시스템 로그 라인을 토큰(단어 또는 문자)의 시퀀스로 간주하고, 매일의 로그 배치에 대해 온라인, 비지도 RNN 언어 모델을 훈련한다.
• 전방 및 후방 방향 모두에서 맥락적 의존성을 포착하기 위해 이중장기단기기억(Long Short-Term Memory, Bi-LSTM) 네트워크를 사용한다.
• 정상 행동에 대한 학습된 모델 기반으로 이상 로그 라인이 얼마나 불가능한지에 따라 낮은 확률 점수를 할당한다.
• 시간이 지남에 따라 사용자 행동 시퀀스를 모델링하기 위해 계층적 순환 아키텍처를 활용하여 맥락 인식 능력을 향상시킨다.
• 고정된 메모리 범위 내에서 로그를 실시간으로 처리함으로써 고속도 로그 스트림에서의 확장성을 확보한다.
• 지상 진실 레드팀 활동이 있는 로스앨러모스 국립연구소(Los Alamos National Laboratory, LANL) 사이버 보안 데이터셋을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 도메인 특화 기능 공학 없이도 RNN 기반 언어 모델이 원시 시스템 로그에서 이상 행동을 효과적으로 탐지할 수 있는가?
• RQ2 탐지의 해상도(로그라인 수준 대 일일 수준)가 언어 모델 기반 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ3 오픈형 어휘 네트워크 로그의 이상 탐지에 있어서 문자 수준 토크나이제이션은 단어 수준 토크나이제이션보다 우수한가?
• RQ4 양방향 RNN은 표준 RNN에 비해 사이버 이상 탐지에서 맥락 패턴을 얼마나 잘 포착하는가?
• RQ5 계층적 순환 아키텍처는 사용자 수준의 행동 시퀀스를 시간에 따라 모델링함으로써 탐지 성능을 향상시킬 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 모델은 이중 문자 기반 RNN 언어 모델로, 로그라인 수준 탐지 작업에서 수확률-기각률 곡선 아래 면적(AUC)이 0.98를 기록했다.
• 문자 기반 모델은 80% 재현율을 달성하기 위해 전체 데이터의 3%만을 경고로 표시했으며, 이는 고립림 기반 모델 대비 뚜렷한 승리였다. 고립림 기반 모델은 동일한 재현율을 확보하기 위해 전체 데이터의 55%를 필요로 했다.
• 이중 언어 모델은 일일 수준 탐지에서 표준 RNN보다 뛰어난 성능을 보이며, 더 나은 맥락 모델링 능력을 입증했다.
• 문자 기반 모델의 비정규화 이상 점수는 대부분 레드팀 활동에 대해 95번째 백분위수를 초과했으며, 악성 활동에 대한 강력한 민감도를 보였다.
• 기존에 애너테이션되지 않은 14일차에 예기치 않은 이상 이벤트를 탐지함으로써, 이전에 알려지지 않은 위협을 발견할 잠재력이 있음을 시사했다.
• 특히 정밀도와 재현율 효율성 측면에서 고립림 및 주성분 분석 대비 뛰어난 성능을 달성했다.