[논문 리뷰] Interacting with Massive Behavioral Data

Shih-Chieh Su|arXiv (Cornell University)|2016. 08. 26.

Data Visualization and Analytics참고 문헌 5인용 수 3

한 줄 요약

이 논문은 차원 감소 기법(예: t-SNE, MDS)에서 유도된 데이터 포인트를 균일하게 격자 기반 레이아웃으로 재분배하면서 국소적 토폴로지를 유지하는 스플릿디퓨즈(SD) 알고리즘을 제안한다. 이로 인해 생성된 토픽 격자는 사용자 및 동료 사용자 행동을 주제별로 동적으로 시간에 따라 비교할 수 있도록 하여, 특히 사이버 보안 분야에서 막대한 행동 데이터의 효율적 인간 상호작용과 시각화를 가능하게 한다.

ABSTRACT

In this short paper, we propose the split-diffuse (SD) algorithm that takes the output of an existing word embedding algorithm, and distributes the data points uniformly across the visualization space. The result improves the perceivability and the interactability by the human. We apply the SD algorithm to analyze the user behavior through access logs within the cyber security domain. The result, named the topic grids, is a set of grids on various topics generated from the logs. On the same set of grids, different behavioral metrics can be shown on different targets over different periods of time, to provide visualization and interaction to the human experts. Analysis, investigation, and other types of interaction can be performed on the topic grids more efficiently than on the output of existing dimension reduction methods. In addition to the cyber security domain, the topic grids can be further applied to other domains like e-commerce, credit card transaction, customer service to analyze the behavior in a large scale.

연구 동기 및 목표

• 차원 감소 기법에서 유도된 비균일하고 겹치는 데이터 포인트 분포의 한계를 해결하기 위해.
• 지역적 상호관계를 유지하면서 균일한 공간 분포를 제공함으로써 대규모 행동 데이터에 대한 인간의 인지 능력과 상호작용 능력을 향상시키기 위해.
• 사이버 보안 및 기타 분야에서 시간에 따라 사용자 및 동료 행동을 분석하기 위한 확장 가능한 상호작용 기반 시각화 프레임워크인 주제 격자(topic grids)를 개발하기 위해.
• 시간 축을 격자 레이아웃에 통합함으로써 행동 지표의 동적 시간 해상도 분석을 지원하기 위해.
• 직관적인 상호작용(예: 호버, 클릭)을 통해 주제 수준 요약 및 활동 오버레이에 접근할 수 있도록 하여 효율적인 인간 주도의 이질성 탐지 기능을 제공하기 위해.

제안 방법

• SD 알고리즘은 깊이 수준마다 교차하는 x-축과 y-축을 번갈아가며 중앙값을 사용하여 데이터 포인트를 재귀적으로 분할함으로써 균형 잡힌 분할을 보장한다.
• 각 데이터 포인트는 재귀적 분할을 통해 이동한 경로에 따라 2^h × 2^h 격자 내 유일한 인덱스를 할당받으며, 이로 인해 균일한 공간 분포가 보장된다.
• 알고리즘은 포인트 간 상대적 위치 관계(예: 어떤 포인트가 다른 포인트의 어느 쪽에 있는지)를 유지함으로써 포인트 간 토폴로지를 유지한다.
• 이 방법은 차원 감소 후 처리이므로 t-SNE, MDS, PCA 및 기타 임bedding 기법의 출력과 호환된다.
• 3D 확장은 시간 축을 따라 1차원 SD 레이아웃을 사용해 2D 주제 격자를 스택함으로써 행동 패턴의 시간적 모니터링을 가능하게 한다.
• 주제 격자는 19K+ 차원 공간의 로그 내용에서 유도된 주제를 격자 셀에 매핑함으로써 구성되며, 각 셀에 위험도나 활동 수준과 같은 지표를 시각화한다.

실험 결과

연구 질문

• RQ1 차원 감소된 데이터에 대한 후처리 변환을 통해 대규모 행동 데이터에 대한 인간의 인지 능력과 상호작용 능력을 향상시킬 수 있는가?
• RQ2 시각화 공간에서 국소적 토폴로지 관계를 손상시키지 않으면서 데이터 포인트의 균일한 공간 분포를 어떻게 달성할 수 있는가?
• RQ3 주제 격자 프레임워크는 사이버 보안 로그에서 행동 이질성을 탐지하는 데 어느 정도 향상되는가?
• RQ4 SD 알고리즘이 다양한 차원 감소 기법에 일반화될 수 있으며, 전자상거래나 신용카드 거래와 같은 다양한 분야에 적용될 수 있는가?
• RQ5 격자 기반 상호작용 모델을 사용해 사용자 및 동료 사용자 행동의 시간적 동적 변화를 효과적으로 시각화하고 비교할 수 있는가?

주요 결과

• 스플릿디퓨즈(SD) 알고리즘은 t-SNE 및 MDS 출력에서 유도된 데이터 포인트를 국소적 토폴로지를 유지하면서 균일한 2D 격자 레이아웃으로 재분배하는 데 성공했다.
• SD를 통해 생성된 주제 격자는 원시적인 차원 감소 출력에 비해 인간의 상호작용이 훨씬 효율적이며, 시각적 추적 및 이벤트 기반 상호작용(예: 호버, 클릭) 향상으로써 이를 입증했다.
• 주제 격자의 3D 확장은 시간 축을 따라 2D 격자를 스택함으로써 일관된 행동 패턴이나 이질성을 시간에 따라 파악할 수 있도록 했다.
• 시스템은 동일한 격자에 자가 위험도 및 동료 위험도와 같은 다수의 행동 지표를 동적으로 시각화할 수 있어, 병렬 비교가 가능했다.
• 시각적 혼잡도와 겹침을 줄여 사이버 보안, 전자상거래, 거래 모니터링 환경에서 밀도 높은 행동 데이터의 인지 가능성을 크게 향상시켰다.
• 이 방법은 t-SNE, MDS, PCA 및 스펙트럴 임베딩를 포함한 다양한 차원 감소 기법과 호환되어 광범위한 적용 가능성을 확보했다.