[논문 리뷰] ADSAGE: Anomaly Detection in Sequences of Attributed Graph Edges applied to insider threat detection at fine-grained level

Mathieu Garchery, Michael Granitzer|arXiv (Cornell University)|2020. 07. 14.

Network Security and Intrusion Detection참고 문헌 37인용 수 6

한 줄 요약

ADSAGE는 수치, 범주형, 텍스트 속성을 갖는 간선으로 구성된 속성 부여된 그래프 간선의 시퀀스를 대상으로 하는 새로운 이상 탐지 프레임워크를 제안한다. 이는 사용자 활동을 간선으로 모델링함으로써 세분화된 이벤트 수준의 내부 위협 탐지를 가능하게 하며, 순차적 모델링을 위해 RNN을, 이상 점수를 산출하기 위해 피드포워드 네트워크를 활용한다. 이로 인해 인증 및 이메일 로그에서 효과적인 탐지를 달성하면서도, 집계된 방법에 비해 경고의 추적 가능성을 향상시킨다.

ABSTRACT

Previous works on the CERT insider threat detection case have neglected graph and text features despite their relevance to describe user behavior. Additionally, existing systems heavily rely on feature engineering and audit data aggregation to detect malicious activities. This is time consuming, requires expert knowledge and prevents tracing back alerts to precise user actions. To address these issues we introduce ADSAGE to detect anomalies in audit log events modeled as graph edges. Our general method is the first to perform anomaly detection at edge level while supporting both edge sequences and attributes, which can be numeric, categorical or even text. We describe how ADSAGE can be used for fine-grained, event level insider threat detection in different audit logs from the CERT use case. Remarking that there is no standard benchmark for the CERT problem, we use a previously proposed evaluation setting based on realistic recall-based metrics. We evaluate ADSAGE on authentication, email traffic and web browsing logs from the CERT insider threat datasets, as well as on real-world authentication events. ADSAGE is effective to detect anomalies in authentications, modeled as user to computer interactions, and in email communications. Simple baselines give surprisingly strong results as well. We also report performance split by malicious scenarios present in the CERT datasets: interestingly, several detectors are complementary and could be combined to improve detection. Overall, our results show that graph features are informative to characterize malicious insider activities, and that detection at fine-grained level is possible.

연구 동기 및 목표

• 그래프 및 텍스트 기능을 지원하는 내부 위협 시스템에서 세분화된 이벤트 수준의 이상 탐지 부족 문제를 해결하기 위해.
• 원시 감사 로그 이벤트를 속성 부여된 그래프 간선로 직접 처리함으로써 수동 특징 공학 및 데이터 집계에 대한 의존도를 줄이기 위해.
• 실제적인, 복귀 기반 메트릭을 사용하여 그래프 및 텍스트 기능이 악성 내부 위협 행동을 탐지하는 데 기여하는 정도를 평가하기 위해.
• CERT 내부 위협 데이터셋에서 간선 수준의 이상 탐지에 대한 벤치마크를 제공하고, 악성 시나리오별로 성능를 분할하여 평가하기 위해.
• 다양한 감사 데이터 소스에서 서로 다른 탐지 방법 간의 상호보완성을 탐색하여 앙상블 성능 향상 가능성을 모색하기 위해.

제안 방법

• 사용자 감사 이벤트를 속성 부여된 그래프 간선으로 모델링하며, 노드는 실체(예: 사용자, 컴퓨터)를 나타내고 간선은 상호작용(예: 로그인, 이메일)을 나타낸다.
• 이질적인 간선 속성 지원: 수치형(예: 타임스탬프), 범주형(예: 동작 유형), 텍스트형(예: 이메일 내용) 속성.
• 순환 신경망(RNN)을 사용하여 간선의 시간적 순서를 캡처하고 시간에 따른 행동 패턴을 모델링한다.
• 피드포워드 신경망(FFNN)을 활용하여 간선의 타당성을 예측하고 복원 오차 기반 이상 점수를 생성한다.
• 간선 이상 탐지에 대해 1:1의 양성 대 음성 샘플링 비율을 사용하여 간선 수준 이상 탐지의 엔드 투 엔드 학습을 가능하게 한다.
• CERT 및 LANL 데이터셋에서 복귀 기반 메트릭을 사용하여 평가하며, 결과를 악성 내부 위협 시나리오별로 분할하여 데이터 소스 특이성을 평가한다.

실험 결과

연구 질문

• RQ1 감사 데이터를 집계하지 않고도 속성 부여된 그래프의 간선 수준에서 이상 탐지가 내부 위협을 효과적으로 탐지할 수 있는가?
• RQ2 그래프 및 텍스트 속성은 인증, 이메일, 웹 브라우징 로그에서 악성 내부 위협 행동을 식별하는 데 어떻게 기여하는가?
• RQ3 다른 탐지 방법(예: ADSAGE, SedanSpot)이 서로 다른 내부 위협 시나리오를 탐지할 때 얼마나 상호보완적인가?
• RQ4 합성된 CERT 데이터셋은 세분화된 이상 탐지 방법의 유효한 성능 평가를 위해 충분히 현실적인가?
• RQ5 세분화된 탐지가 집계된 다중 소스 시스템과 경쟁 가능한 탐지 성능 유지를 유지하면서도 경고의 추적 가능성을 향상시킬 수 있는가?

주요 결과

• ADSAGE는 사용자-컴퓨터 상호작용 간선으로 모델링된 인증 로그에서 이상을 효과적으로 탐지하며, 합성(CERT) 및 실세계(LANL) 데이터셋 모두에서 일관된 성능을 보였다.
• 이메일 트래픽은 발신자-수신자 간선으로 모델링되고 텍스트 내용이 속성으로 포함된 경우 ADSAGE에 의해 효과적으로 탐지되었으며, 이는 텍스트 및 그래프 기능의 가치를 입증한다.
• 웹 브라우징 로그는 사용자-도메인 간선으로 표현되었을 때 ADSAGE가 덜 효과적이었으며, 이는 SedanSpot나 룰 기반 탐지기와 같은 대안적 방법이 더 적합할 수 있음을 시사한다.
• SedanSpot와 같은 단순 기반 모델이 놀라울 정도로 강력한 성능을 보였으며, 이는 경량 모델조차도 특정 데이터 소스에 대해 효과적일 수 있음을 시사한다.
• 악성 시나리오별로 분할된 성능 결과는 서로 다른 탐지기가 서로 다른 위협 패턴을 커버하고 있음을 보여주며, 앙상블 방법을 통해 탐지 커버리지를 향상시킬 잠재력이 크다는 것을 시사한다.
• 본 연구는 그래프 및 텍스트 기능이 내부 위협 탐지에 유용하며, 데이터 집계 없이도 세분화된 이벤트 수준의 탐지가 가능하고 추적 가능하다는 점을 확인했다.