[논문 리뷰] Big Data Processing in Complex Hierarchical Network Systems

Olexandr Polishchuk, Dmytro Polishchuk외 2명|arXiv (Cornell University)|2016. 03. 02.

Advanced Data Processing Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 계층적 네트워크 시스템에서의 효율적 대용량 데이터 처리를 위한 프레임워크를 제안하며, 계층적 네트워크 구조, 복합망, 분산 계산 모델을 도입한다. 이는 시스템 수준 간 병렬 처리를 통해 정보 흐름의 확장 가능한 분석을 가능하게 하여 대규모 네트워크 환경에서의 처리 효율성을 크게 향상시킨다.

ABSTRACT

This article covers the problem of processing of Big Data that describe process of complex networks and network systems operation. It also introduces the notion of hierarchical network systems combination into associations and conglomerates alongside with complex networks combination into multiplexes. The analysis is provided for methods of global network structures study depending on the purpose of the research. Also the main types of information flows in complex hierarchical network systems being the basic components of associations and conglomerates are covered. Approaches are proposed for creation of efficient computing environments, distributed computations organization and information processing methods parallelization at different levels of system hierarchy.

연구 동기 및 목표

• 계층적 아키텍처를 갖는 복잡한 네트워크 시스템에서 발생하는 대규모 데이터 처리 과제를 해결한다.
• 복잡한 네트워크를 연합체와 통합체로 조합하는 통합 모델을 개발하여 종합적 시스템 분석을 가능하게 한다.
• 다중 수준의 계층적 네트워크 시스템에서의 정보 흐름 관리 및 분산 계산을 최적화한다.
• 시스템 계층 수준 간 병렬 처리를 통해 확장 가능하고 효율적인 데이터 처리를 가능하게 한다.
• 연구 목적이 다양할 경우를 고려해 전반적인 네트워크 구조 분석을 특정 분석 목적에 맞게 조정할 수 있도록 지원한다.

제안 방법

• 복잡한 다층 네트워크 데이터를 조직화하기 위한 프레임워크로 계층적 네트워크 시스템의 개념을 도입한다.
• 분석 성능을 향상시키기 위해 복잡한 네트워크를 고차원적 구조로 조합하여 복합망을 구성하는 방법을 제안한다.
• 확장성을 향상시키기 위해 시스템 계층의 각 수준에 맞게 맞춤형으로 설계된 분산 계산 환경을 설계한다.
• 계층 수준 간 정보 처리를 병렬화하여 지연 시간을 감소시킨다.
• 연합체와 통합체 내부의 다양한 정보 흐름을 모델링하고 관리하기 위해 시스템 수준의 추상화를 활용한다.
• 연구 목적에 맞게 계산 모델을 적응시켜 민첩한 전반적 네트워크 구조 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 복잡한 계층적 네트워크 시스템에서 유입되는 대용량 데이터를 체계적으로 대규모로 효율적으로 처리할 수 있는가?
• RQ2 연구 목적이 다양한 경우에 따라 전반적인 네트워크 구조를 최적화하여 모델링하고 분석할 수 있는 방법은 무엇인가?
• RQ3 계층적 네트워크 시스템 내부의 정보 흐름은 어떻게系통적으로 분류하고 관리할 수 있는가?
• RQ4 계층 수준 간에 효율적이고 병렬 처리 가능한 데이터 처리를 지원하는 분산 계산 아키텍처는 무엇인가?
• RQ5 어떻게 하면 복잡한 네트워크를 복합망으로 조합하여 시스템 수준의 분석 및 처리 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 프레임워크는 네트워크 시스템을 계층적 구조와 복합망으로 조직화함으로써 대용량 데이터의 확장 가능한 처리를 가능하게 한다.
• 시스템 계층의 각 수준에 맞게 효과적으로 설계된 분산 계산 환경은 처리 효율성을 향상시킨다.
• 계층 수준 간 정보 처리의 병렬화로 계산 병목 현상이 감소하고 처리량이 증가한다.
• 특정 연구 목적에 맞게 전반적 네트워크 구조 분석이 민첩하게 지원되어 적응성이 향상된다.
• 연합체와 통합체 내부의 정보 흐름이 체계적으로 식별되고 관리되어 체계적인 데이터 처리가 가능해진다.
• 계층적 네트워크 시스템과 복합망 구조의 통합은 대규모 데이터 분석을 위한 견고한 기반을 제공한다.