[논문 리뷰] NetworkRepository: An Interactive Data Repository with Multi-scale Visual Analytics

Ryan A. Rossi, Nesreen K. Ahmed|arXiv (Cornell University)|2014. 10. 14.

Complex Network Analysis Techniques참고 문헌 4인용 수 5

한 줄 요약

NetworkRepository.com는 실시간 시각적 분석을 지원하는 첫 번째 상호작용형 웹 기반 그래프 데이터 레포지토리로, 연구자들이 네트워크 데이터셋을 동적으로 탐색, 비교, 시각화할 수 있도록 한다. 이는 빠르고 확장 가능한 그래프 분석과 협업 기능을 결합하여 상호작용형 시각화, 합성 그래프 생성, 커뮤니티 기반 문서화를 제공함으로써 정적 레포지토리 이상의 데이터 탐색 및 과학적 재현 가능성의 향상을 이룬다.

ABSTRACT

Network Repository (NR) is the first interactive data repository with a web-based platform for visual interactive analytics. Unlike other data repositories (e.g., UCI ML Data Repository, and SNAP), the network data repository (networkrepository.com) allows users to not only download, but to interactively analyze and visualize such data using our web-based interactive graph analytics platform. Users can in real-time analyze, visualize, compare, and explore data along many different dimensions. The aim of NR is to make it easy to discover key insights into the data extremely fast with little effort while also providing a medium for users to share data, visualizations, and insights. Other key factors that differentiate NR from the current data repositories is the number of graph datasets, their size, and variety. While other data repositories are static, they also lack a means for users to collaboratively discuss a particular dataset, corrections, or challenges with using the data for certain applications. In contrast, we have incorporated many social and collaborative aspects into NR in hopes of further facilitating scientific research (e.g., users can discuss each graph, post observations, visualizations, etc.).

연구 동기 및 목표

• UCI와 SNAP과 같은 정적이고 비상호작용적 데이터 레포지토리의 한계를 해결하여 네트워크 데이터셋의 실시간 탐색과 시각화를 가능하게 한다.
• 그래프 구조와 특성의 상호작용적 다중 척도 시각적 분석을 통해 빠른 통찰 탐색을 가능하게 한다.
• 특정 데이터셋과 관련된 시각화, 댓글, 수정 사항, 게재된 논문을 공유할 수 있도록 해 연구 협업을 촉진한다.
• 효율적인 샘플링과 고성능 병렬 그래프 계산을 통합하여 대규모 그래프 분석을 위한 확장 가능한 탐색을 지원한다.
• 모델 기반 및 패턴 기반 방법을 사용한 상호작용형 합성 그래프 생성을 위한 확장 가능한 플랫폼을 제공한다.

제안 방법

• 빠르고 C/C++ 기반의 병렬 그래프 계산 엔진을 사용하여 웹 기반 상호작용형 분석 플랫폼을 구현함으로써 실시간 그래프 데이터셋 시각화 및 탐색을 가능하게 한다.
• 사용자가 그래프 수준, 노드 수준, 엣지 수준의 통계(예: 삼각형 수, 차수 분포 등)에서 줌, 필터링, 변환을 가능하게 하여 다중 척도 시각적 분석을 통합한다.
• 빠르고 시각적인 클러스터링 알고리즘을 통해 상호작용형 커뮤니티 검출 및 역할 탐색을 지원하여 구조적 역할 또는 커뮤니티 기반으로 노드를 레이블링하고 색상으로 표시한다.
• 표준 모델(Erdos-Renyi, Barabasi-Albert, Chung-Lu)과 하위그래프(클리크, 스타, 사이클 등)를 조합하여 더 큰 네트워크로 만드는 패턴 기반 생성기를 사용하여 합성 그래프 생성을 지원한다.
• 모델 기반 및 패턴 기반 접근 방식을 조합한 하이브리드 그래프 생성을 제공하여 사용자가 하위그래프 패턴을 임포트하고 합성 그래프에 통합할 수 있도록 한다.
• 최신 기술의 샘플링 기법을 통해 대규모 그래프에 대한 확장성을 확보하여 데이터 전송을 줄이고 구조적 충실도를 유지하면서도 빠른 렲영을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정적이고 사전 렌더링된 시각화에 비해 상호작용적 실시간 시각적 분석은 네트워크 데이터셋에서 통찰 탐색의 속도와 깊이를 어떻게 향상시키는가?
• RQ2 협업 기반 커뮤니티 중심의 플랫폼은 그래프 데이터 레포지토리에서 데이터 품질, 문서화, 벤치마크 활용도를 얼마나 향상시키는가?
• RQ3 상호작용적 합성 그래프 생성 도구는 네트워크 과학에서 재현 가능한 실험과 알고리즘 검증을 뒷받침할 수 있는가?
• RQ4 플랫폼은 상호작용적 필터링과 시각화를 통해 사용자가 이상치, 커뮤니티, 구조적 패턴을 탐지하는 데 얼마나 효과적인가?
• RQ5 고성능 그래프 분석 엔진은 기존 라이브러리인 GraphLab과 igraph에 비해 성능 및 확장성 측면에서 어떤 이점을 제공하는가?

주요 결과

• 플랫폼은 사회, 생물, 정보 네트워크 등 19개 카테고리에 걸친 500개 이상의 그래프 데이터셋을 실시간으로 상호작용적으로 탐색할 수 있으며, 사용자 노력이 최소화된다.
• 상호작용적 필터링과 시각화를 통해 특정 성질을 가진 노드(예: 정해진 범위 내 삼각형 수)를 동적으로 탐색할 수 있어 빠른 가설 검증과 이상치 탐지가 가능하다.
• 커뮤니티 검출 및 역할 탐색 도구의 통합으로 사용자는 몇 초 내로 커뮤니티나 기능적 역할과 같은 구조적 패턴을 빠르게 시각적으로 식별하고 탐색할 수 있다.
• 고성능 병렬 그래프 엔진은 삼각형 수 계산과 같은 핵심 계산에서 기존 라이브러리인 GraphLab과 igraph를 능가하여 저지연 응답을 보장한다.
• 효율적인 샘플링 기법을 통해 대규모 그래프의 확장 가능한 분석을 지원하여 데이터 전송을 줄이고도 시각화 및 통계의 정확성을 유지한다.
• 사용자는 모델 기반(예: Chung-Lu) 및 패턴 기반 생성기를 사용하여 합성 그래프를 생성, 저장, 내보낼 수 있으며, SVG 및 PNG와 같은 형식으로 엣지 목록과 시각화를 저장할 수 있다.