[논문 리뷰] Forming IDEAS Interactive Data Exploration & Analysis System.

Robert A. Bridges, Maria A. Vincent외 4명|arXiv (Cornell University)|2018. 05. 24.

Scientific Computing and Data Management인용 수 4

한 줄 요약

IDEAS는 사이버 위협 데이터에 대해 사전 정의된 데이터 과학 작업을 상호작용적으로 구성할 수 있도록 해주는 시각적 분석 플랫폼입니다. 이는 알고리즘 전문 지식이 없는 사이버 보안 분석가가 데이터 과학 작업을 수행할 수 있도록 합니다. 시스템은 기존 데이터 저장소와 통합되며, 클러스터링 및 이상 탐지와 같은 알고리즘을 백엔드에서 자동으로 적용하고, 상호작용 가능한 시각화 결과를 반환합니다. 실제 사례를 통해 악성 호스트 식별 및 고도화된 지속적 위협 탐지 등의 기능을 입증하였으며, 수작업의 양을 줄이고 직관에 기반한 분석을 근거 기반 분석으로 대체합니다.

ABSTRACT

Modern cyber security operations collect an enormous amount of logging and alerting data. While analysts have the ability to query and compute simple statistics and plots from their data, current analytical tools are too simple to admit deep understanding. To detect advanced and novel attacks, analysts turn to manual investigations. While commonplace, current investigations are time-consuming, intuition-based, and proving insufficient. Our hypothesis is that arming the analyst with easy-to-use data science tools will increase their work efficiency, provide them with the ability to resolve hypotheses with scientific inquiry of their data, and support their decisions with evidence over intuition. To this end, we present our work to build IDEAS (Interactive Data Exploration and Analysis System). We present three real-world use-cases that drive the system design from the algorithmic capabilities to the user interface. Finally, a modular and scalable software architecture is discussed along with plans for our pilot deployment with a security operation command.

연구 동기 및 목표

• 현재 도구로는 효과적으로 처리할 수 없는 막대한 양의 사이버 보안 로그를 분석하는 데 발생하는 증가하는 과제를 해결하기 위해.
• 직관에 기반한 수작업이 오래 걸리는 조사에 의존하는 것을 줄이기 위해 데이터 기반 통찰력에 기반한 분석을 제공하기 위해.
• 사용자 친화적인 구성 가능한 플랫폼을 통해 데이터 과학 능력과 사이버 보안 운영의 실무적 요구 간 격차를 메우기 위해.
• 알고리즘 전문 지식이 없이도 기계 학습 및 통계 연산을 활용해 가설을 과학적으로 검증할 수 있도록 분석가를 지원하기 위해.
• 민감한 데이터를暴露하지 않고도 분석 구성 정보를 안전하게 공유할 수 있도록 함으로써 조직 내외 간 지능 정보 공유를 지원하기 위해.

제안 방법

• 시스템은 Elasticsearch를 사용하는 기존 사이버 데이터 저장소에 연결하여 네트워크 플로우, 호스트 로그, DNS 데이터를 수신합니다.
• 분석가는 웹 기반 인터페이스를 통해 데이터 서브셋을 선택하고 사전 설정된 데이터 과학 작업(예: 클러스터링, 이상 탐지)을 적용합니다.
• 백엔드에서 실행되는 알고리즘(예: k-means 클러스터링, 통계적 이상 탐지)이 자동으로 실행되며, 결과는 상호작용 가능한 방식으로 시각화됩니다.
• Protocol Buffers와 gRPC를 사용한 마이크로서비스 아키텍처는 모듈성, 확장성, 프로그래밍 언어에 관계없이 통신이 가능한 구성 요소 간 통신을 가능하게 합니다.
• Docker를 사용한 컨테이너화를 통해 간편한 배포를 지원하며, 향후 데이터 유형 및 분석 작업에 대한 확장성도 제공합니다.
• 사용자 인터페이스는 실제 분석가의 워크플로우와 사용 사례를 기반으로 설계되었으며, 보안 관련 패턴에 맞게 입력 및 출력 시각화가 최적화되어 있습니다.

실험 결과

연구 질문

• RQ1 알고리즘 전문 지식이 없는 사이버 보안 분석가가 데이터 과학 기법을 어떻게 접근 가능하게 할 수 있을까?
• RQ2 상호작용적이고 구성 가능한 데이터 과학 작업은 수작업 사고 조사에 소요되는 시간과 노력을 줄일 수 있는가?
• RQ3 시각적 분석 시스템은 사이버 운영 환경에서 가설 검증과 근거 기반 의사결정을 어떻게 지원할 수 있는가?
• RQ4 어떤 아키텍처 패턴이 실제 보안 환경에서 데이터 과학 도구의 확장성, 모듈성, 확장 가능성을 보장할 수 있는가?
• RQ5 민감한 데이터를暴露하지 않고도 조직 간 분석 구성 정보를 공유할 수 있는가?

주요 결과

• 분석가들은 랜섬웨어 감염을 수작업으로 분석하는 데 약 80명-시간이 소요된다고 보고하여 자동화의 필요성을 확인했습니다.
• 시스템은 DNS 쿼리 비율과 네트워크 트래픽 패턴을 기반으로 호스트를 클러스터링하여 비정상적인 수평 이동 패턴을 탐지할 수 있도록 했습니다.
• 클러스터링 작업은 웹 서버(포트 80/443로 들어오는 트래픽)와 워크스테이션(출구 트래픽) 간의 차이를 성공적으로 식별하여 실질적인 통찰을 제공했습니다.
• 이상 탐지 작업은 정상적인 호스트 행동을 기준선으로 설정하고 변화를 경고함으로써 맞춤형 스크립팅의 체계적인 대안을 제공합니다.
• gRPC와 Protocol Buffers를 사용한 마이크로서비스 아키텍처는 보안성, 확장성, 확장 가능성을 확보한 분석 컴포넌트의 배포를 가능하게 했습니다.
• 대규모 보안 운영 센터에서의 예비 배포 계획이 진행 중이며, 이후 배포 후 반복적인 개선이 예상됩니다.