[논문 리뷰] NetworKit: An Interactive Tool Suite for High-Performance Network Analysis.

Christian Staudt, Aleksejs Sazonovs외 1명|arXiv (Cornell University)|2014. 03. 12.

Complex Network Analysis Techniques참고 문헌 52인용 수 60

한 줄 요약

NetworKit는 대규모 복잡한 네트워크 분석을 위한 오픈소스이자 고성능 소프트웨어 스위트로, C++ 기반 커널과 파이썬 기반 인터랙티브 인터페이스를 결합하여 확장 가능하고 공유 메모리 병렬 분석을 가능하게 한다. 주요 네트워크 분석 기능과 그래프 생성 기능을 지원하며, 높은 성능, 인터랙티브 워크플로우, 과학 계산 생태계에의 통합을 제공한다.

ABSTRACT

We introduce NetworKit, an open-source software package for high-performance analysis of large complex networks. Complex networks are equally attractive and challenging targets for data mining, and novel algorithmic solutions as well as parallelization are required to handle data sets containing billions of connections. Our goal for NetworKit is to package results of our algorithm engineering efforts and put them into the hands of domain experts. NetworKit is a hybrid combining the performance of kernels written in C++ with a convenient interactive interface written in Python. The package supports shared-memory parallelism and scales from notebooks to compute servers. In comparison with related software, we propose NetworKit as a package geared towards large networks and satisfying three important criteria: High performance, interactive workflows and integration into an ecosystem of tested tools for data analysis and scientific computation. The current feature set includes analytics kernels such as degree distribution, connected components, clustering coefficients, community detection, k-core decomposition, degree assortativity and multiple centrality indices. Moreover, NetworKit comes with a collection of graph generators. With the current release, we present and open up the project to a community of both algorithm engineers and domain experts

연구 동기 및 목표

• 수십억 개의 연결을 가진 대규모 복잡한 네트워크를 고성능 컴퓨팅을 활용해 효율적으로 분석하는 데 도전한다.
• 알고리즘 공학자와 도메인 전문가 사이의 격차를 해소하기 위해 접근하기 쉬우면서도 강력한 분석 도구를 제공한다.
• 노트북에서 고성능 서버에 이르기까지 인터랙티브하고 확장 가능한 네트워크 분석 워크플로우를 가능하게 한다.
• 데이터 분석과 재현 가능한 연구를 위한 기존 과학 계산 생태계에 통합한다.
• 다양한 용도에 적합한 포괄적인 네트워크 분석 커널과 그래프 생성기 세트를 제공한다.

제안 방법

• 고성능 실행을 위해 성능에 민감한 네트워크 분석 알고리즘을 C++로 구현한다.
• 파이썬 인터페이스를 통해 C++ 커널을 노출하여 인터랙티브하고 사용자 友好的한 워크플로우를 지원한다.
• 공유 메모리 병렬 처리를 활용해 다중 코어 시스템에서 계산을 확장한다.
• 저수준 성능와 고수준 사용성의 균형을 고려해 하이브리드 시스템으로 소프트웨어를 설계한다.
• 기존 과학 계산 도구와 환경에 통합하여 원활한 데이터 분석을 지원한다.
• 합성 네트워크 실험과 벤치마킹을 지원하기 위해 그래프 생성기 컬렉션을 포함한다.

실험 결과

연구 질문

• RQ1 수십억 개의 연결을 가진 대규모 복잡한 네트워크를 고성능 컴퓨팅을 활용해 효율적으로 분석할 수 있는가?
• RQ2 성능을 희생시키지 않고도 확장 가능한 크기에서 인터랙티브 네트워크 분석 워크플로우를 유지할 수 있는가?
• RQ3 C++와 파이썬을 조합한 하이브리드 소프트웨어 스택이 도메인 전문가에게 높은 성능과 사용성을 동시에 제공할 수 있는가?
• RQ4 NetworKit가 기존 과학 계산 생태계에 얼마나 잘 통합되어 재현 가능한 네트워크 분석을 지원하는가?
• RQ5 실제로 포괄적인 네트워크 연구를 위해 필수적인 핵심 네트워크 분석 기능과 그래프 생성 기능은 무엇인가?

주요 결과

• NetworKit는 최적화된 C++ 커널과 인터랙티브한 파이썬 인터페이스의 조합을 통해 고성능 네트워크 분석을 성공적으로 제공한다.
• 소프트웨어는 공유 메모리 병렬 처리를 지원하여 노트북에서 고성능 컴퓨팅 서버에 이르기까지 효율적인 확장이 가능하다.
• 도로 분포, 연결된 성분, 군집 계수, 여러 중심성 지표를 포함한 포괄적인 분석 커널 세트를 제공한다.
• 그래프 생성기의 통합은 합성 네트워크 실험과 벤치마킹에서의 유용성을 높인다.
• NetworKit는 기존 과학 계산 생태계에 원활하게 통합되도록 설계되어 재현 가능하고 인터랙티브한 연구 워크플로우를 지원한다.
• 프로젝트는 오픈소스이며 커뮤니티 기반으로 운영되어 알고리즘 엔지니어와 도메인 전문가 모두의 기여를 환영한다.