[논문 리뷰] MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark

Brandon Morris, Anthony Skjellum|arXiv (Cornell University)|2017. 07. 15.

Cloud Computing and Resource Management참고 문헌 15인용 수 4

한 줄 요약

이 논문은 Apache Spark의 새로운 확장인 MPIgnite를 제안하며, 데이터 병렬 프레임워크에 MPI 유사의 점대점 및 집합적 통신 원리를 통합한다. 스파크에 스칼라 클로처를 통한 메시지 전달 의미 체계를 추가함으로써, 작업 병렬 및 데이터 병렬 프로그래밍이 원활하게 공존할 수 있도록 하며, 스파크의 생산성, 장애 내성 및 확장성과 함께 HPC 수준의 통신 패tern을 제공한다. 프로토타입 구현 및 사용 사례를 통해 이를 입증하였다.

ABSTRACT

Scale-out parallel processing based on MPI is a 25-year-old standard with at least another decade of preceding history of enabling technologies in the High Performance Computing community. Newer frameworks such as MapReduce, Hadoop, and Spark represent industrial scalable computing solutions that have received broad adoption because of their comparative simplicity of use, applicability to relevant problems, and ability to harness scalable, distributed resources. While MPI provides performance and portability, it lacks in productivity and fault tolerance. Likewise, Spark is a specific example of a current-generation MapReduce and data-parallel computing infrastructure that addresses those goals but in turn lacks peer communication support to allow featherweight, highly scalable peer-to-peer data-parallel code sections. The key contribution of this paper is to demonstrate how to introduce the collective and point-to-point peer communication concepts of MPI into a Spark environment. This is done in order to produce performance-portable, peer-oriented and group-oriented communication services while retaining the essential, desirable properties of Spark. Additional concepts of fault tolerance and productivity are considered. This approach is offered in contrast to adding MapReduce framework as upper-middleware based on a traditional MPI implementation as baseline infrastructure.

연구 동기 및 목표

• 기존의 HPC(예: MPI)와 현대의 데이터 병렬 프레임워크(예: Spark) 사이의 격차를 메우기 위해, Spark 내에서 피어 투 피어 및 집합적 통신을 가능하게 한다.
• 스파크의 작업 병렬 모델에 MPI 의미 체계를 통합함으로써 고생산성, 장애 내성 및 확장성 있는 병렬 프로그래밍을 가능하게 한다.
• MPI 개발자와 스파크 사용자 간의 상호 운용성을 지원하기 위해, 분산 환경에서의 메시지 전달을 위한 익숙하고 고수준의 API를 제공한다.
• 스파크의 기존 장애 내성 및 클라우드 네이티브 인프라를 활용하면서도, HPC 워크로드에 필수적인 저수준 통신 패턴을 추가한다.
• 작업 병렬 및 데이터 병렬 추상화를 결합한 하이브리드 프로그래밍 모델이 하나의 프레임워크 내에서 효율적으로 공존할 수 있음을 입증한다.

제안 방법

• MPI를 영감으로 삼은 새로운 메시지 전달 API를 Apache Spark 프레임워크에 통합하여, 점대점 및 집합적 연산을 지원한다.
• 스칼라의 고수준 클로처 모델을 사용하여 통신 원리를 구현함으로써, 표현력 있고 조합 가능한 병렬 코드를 작성할 수 있도록 한다.
• 메시지 전달 의미 체계를 스파크의 작업 실행 모델에 통합하여, 독립적인 병렬 섹션 간에 MPI 스타일의 연산을 통해 통신이 가능하도록 한다.
• 스파크의 기존 스케줄러 및 장애 내성 메커니즘을 활용하여 기능을 확장하면서도 신뢰성을 유지한다.
• 동일한 응용 프로그램 내에서 데이터 병렬 및 작업 병렬 워크로드를 모두 지원하도록 시스템을 설계하여, 영리한 알고리즘 설계를 가능하게 한다.
• 스파크의 메모리 기반 계산 및 클러스터 리소스 관리 기능을 활용하여 성능과 확장성을 유지한다.

실험 결과

연구 질문

• RQ1 스파크와 같은 데이터 병렬 프레임워크에 MPI 유사의 통신 패턴을 효과적으로 통합할 수 있는가? 이는 생산성이나 장애 내성의 손실 없이 가능할까?
• RQ2 작업 병렬 통신(예: 점대점, 집합적 연산)이 스파크의 데이터 병렬 모델과 어떻게 효율적으로 조합될 수 있는가?
• RQ3 스파크에 MPI 의미 체계를 통합함으로써, 기존 HPC 알고리즘과의 성능 이식성 및 상호 운용성은 어느 정도 유지되는가?
• RQ4 고수준 프로그래밍 언어 기능(예: 스칼라 클로처)을 사용해 클라우드 규모 환경에서 메시지 전달을 구현할 경우의 영향은 무엇인가?
• RQ5 스파크의 장애 내성 메커니즘은 메시지 전달을 효율적이고 내성적으로 지원하기 위해 어떻게 확장되거나 활용될 수 있는가?

주요 결과

• MPIgnite는 Apache Spark에 MPI 유사의 통신 원리를 성공적으로 통합하여, 하나의 프레임워크 내에서 작업 병렬 및 데이터 병렬 프로그래밍을 가능하게 하였다.
• 프로토타입 구현을 통해, 메시지 전달 연산이 스파크의 실행 모델 내에서 스칼라 클로처를 사용해 효율적으로 구현될 수 있음을 입증하였다.
• 하이브리드 모델은 독립적이고 좁은 병렬 섹션과 데이터 병렬 변환 간에 공존할 수 있도록 하여, 복잡한 혼합 워크로드 애플리케이션을 지원한다.
• 통합 과정에서 스파크의 장애 내성 및 확장성은 그대로 유지되어 대규모 클러스터에서 신뢰성 있는 실행이 가능하다.
• 이 접근 방식은 HPC 개발자들이 최신 클라우드 기반 플랫폼에서 MPI 기반 알고리즘을 최소한의 성능 손실로 프로토타yped할 수 있는 실질적인 길을 제공한다.
• 미래의 작업은 효율적인 메시지 전달 백엔드, 제삼자 MPI 라이브러리 통합, 메시지 전달 시스템을 위한 향상된 장애 내성 기능 개선 등에 초점이 맞춰질 전망이다.