[논문 리뷰] PaPy: Parallel and Distributed Data-processing Pipelines in Python

Marcin Cieślik, Cameron Mura|arXiv (Cornell University)|2014. 07. 15.

Scientific Computing and Data Management참고 문헌 16인용 수 6

한 줄 요약

PaPy는 사용자가 정의한 함수를 방향 비순환 그래프의 노드로 연결하여 확장성 있고 병렬적이며 분산된 데이터 처리 파이프라인을 생성할 수 있도록 해주는 파이썬 프레임워크입니다. 이 프레임워크는 함수를 중첩된 고계 함수 맵으로 조합하여 로컬 또는 원격 리소스에서 이러한 파이프라인을 투명하게 병렬로 실행하며, 동적 로드 밸런싱과 구성 가능한 배치 처리를 통해 처리량을 최적화하고 메모리 트레이드오프를 조정할 수 있습니다.

ABSTRACT

PaPy, which stands for parallel pipelines in Python, is a highly flexible framework that enables the construction of robust, scalable workflows for either generating or processing voluminous datasets. A workflow is created from user-written Python functions (nodes) connected by 'pipes' (edges) into a directed acyclic graph. These functions are arbitrarily definable, and can make use of any Python modules or external binaries. Given a user-defined topology and collection of input data, functions are composed into nested higher-order maps, which are transparently and robustly evaluated in parallel on a single computer or on remote hosts. Local and remote computational resources can be flexibly pooled and assigned to functional nodes, thereby allowing facile load-balancing and pipeline optimization to maximize computational throughput. Input items are processed by nodes in parallel, and traverse the graph in batches of adjustable size -- a trade-off between lazy-evaluation, parallelism, and memory consumption. The processing of a single item can be parallelized in a scatter/gather scheme. The simplicity and flexibility of distributed workflows using PaPy bridges the gap between desktop -> grid, enabling this new computing paradigm to be leveraged in the processing of large scientific datasets.

연구 동기 및 목표

• 대규모 과학적 데이터셋을 효율적으로 처리하기 위해 데스크톱 환경에서 그리드 컴퓨팅으로의 원활한 전환을 가능하게 하기 위해.
• 저수준 병렬 프로그래밍이 필요 없이도 데이터 처리 워크플로우를 구성할 수 있는 유연하고 조합 가능한 프레임워크를 제공하기 위해.
• 이질적인 로컬 및 원격 컴퓨팅 환경 간의 동적 로드 밸런싱과 리소스 풀링을 지원하기 위해.
• 메모리 사용량, 지연 평가, 병렬성 간의 균형을 맞추기 위해 구성 가능한 배치 크기를 허용함으로써 성능을 최적화하기 위해.
• 과학적 워크로드를 위한 상호작용형 데스크톱 데이터 분석과 고처리량 분산 컴퓨팅 사이의 격차를 메우기 위해.

제안 방법

• 워크플로우는 사용자가 정의한 파이썬 함수를 노드로 사용하고 데이터가 '파이프'(간선)를 통해 흐르는 방향 비순환 그래프(DAG)로 모델링됩니다.
• 함수는 단일 머신 또는 클러스터에서 투명하게 병렬 실행이 가능한 중첩된 고계 함수 맵 추상화로 조합됩니다.
• 입력 데이터 항목은 메모리 소비, 병렬성, 지연 평가 간의 균형을 맞추기 위해 구성 가능한 배치로 처리됩니다.
• 프레임워크는 컴퓨팅 리소스를 풀링하고 이를 기반으로 기능적 노드에 동적으로 할당하여 로컬 및 원격 실행을 모두 지원합니다.
• 개별 항목에 대한 산산이 흩날리는/산개하는 병렬화가 지원되어 한 단계의 처리 내에서 세밀한 수준의 병렬성을 허용합니다.
• 시스템은 리소스의 가용성과 워크로드 특성에 기반해 작업을 분산함으로써 고장 내성과 로드 밸런싱을 자동으로 처리합니다.

실험 결과

연구 질문

• RQ1 고수준 파이썬 프레임워크는 어떻게 이질적인 컴퓨팅 환경에서 확장성 있고 장애 내성 있는 데이터 처리를 가능하게 할 수 있는가?
• RQ2 어떤 설계 패턴이 단일 워크플로우 추상화 내에서 로컬 및 분산 실행을 원활하게 통합할 수 있도록 하는가?
• RQ3 배치 처리와 메모리 사용량은 어떻게 조정하여 성능, 병렬성, 자원 소비 간의 균형을 맞출 수 있는가?
• RQ4 저수준 시스템 프로그래밍 없이도 기능적이고 선언적인 파이프라인 모델이 복잡한 과학적 데이터 워크플로우를 얼마나 잘 지원할 수 있는가?
• RQ5 로컬 및 원격 리소스 간의 동적 로드 밸런싱은 데이터 집약적 워크로드에서 계산 처리량을 어떻게 향상시키는가?

주요 결과

• PaPy는 사용자가 정의한 워크플로우 논리에 변화 없이도 로컬 머신과 원격 호스트 간에 데이터 처리 파이프라인을 투명하게 실행할 수 있도록 합니다.
• 가용 리소스의 가용성과 부하에 기반해 작업을 동적으로 할당함으로써 프레임워크는 높은 계산 처리량을 달성합니다.
• 구성 가능한 배치 크기 덕분에 사용자는 메모리 소비, 병렬성, 지연 평가 간의 트레이드오프를 조정할 수 있으며, 대규모 데이터 처리에서 성능 향상이 관찰되었습니다.
• 중첩된 고계 함수 맵의 사용은 함수 조합의 효율적인 병렬화를 가능하게 하여 분산 실행에서의 오버헤드를 감소시킵니다.
• PaPy는 파이프라인 노드 내에서 임의의 파이썬 모듈과 외부 바이너리 파일을 지원하여 기존 과학 소프트웨어 스택과 광범위한 호환성을 확보합니다.
• 프레임워크는 데스크톱 규모의 데이터 분석과 그리드 규모의 워크로드 사이를 성공적으로 연결하여 과학자들이 최소한의 아키텍처 변경으로 워크플로우를 확장할 수 있도록 합니다.