[논문 리뷰] EVEREST: A design environment for extreme-scale big data analytics on heterogeneous platforms

Christian Pilato, Stanislav Böhm외 16명|arXiv (Cornell University)|2021. 01. 01.

Cloud Computing and Resource Management참고 문헌 47인용 수 27

한 줄 요약

EVEREST는 이질적이고 분산되며 보안이 확보된 플랫폼에서 초대규모 빅데이터 분석을 위한 통합적이고 데이터 기반의 설계 환경을 제공한다. 도메인 특화 언어, 고수준 합성, 가상화된 런타임 오케스트레이션을 활용하여 비전문가 개발자가 최적화된 하드웨어-소프트웨어 변종을 자동으로 생성하고 배포할 수 있도록 한다. 주요 기여는 AI 가속 컴파일링과 동적 자원 적응을 통해 HPC, 클라우드, 엣지 시스템 전반에서 성능, 에너지 효율성, 프로그래밍 용이성을 향상시키는 통합된 SDK이다.

ABSTRACT

High-Performance Big Data Analytics (HPDA) applications are characterized by huge volumes of distributed and heterogeneous data that require efficient computation for knowledge extraction and decision making. Designers are moving towards a tight integration of computing systems combining HPC, Cloud, and IoT solutions with artificial intelligence (AI). Matching the application and data requirements with the characteristics of the underlying hardware is a key element to improve the predictions thanks to high performance and better use of resources. We present EVEREST, a novel H2020 project started on October 1, 2020, that aims at developing a holistic environment for the co-design of HPDA applications on heterogeneous, distributed, and secure platforms. EVEREST focuses on programmability issues through a data-driven design approach, the use of hardware-accelerated AI, and an efficient runtime monitoring with virtualization support. In the different stages, EVEREST combines state-of-the-art programming models, emerging communication standards, and novel domain-specific extensions. We describe the EVEREST approach and the use cases that drive our research.

연구 동기 및 목표

• HPC, 클라우드, 엣지 자원을 결합한 AI 워크로드를 수반하는 초대규모 이질적 빅데이터 분석(HPDA) 시스템을 프로그래밍하는 데 증가하는 도전 과제를 해결한다.
• 도메인 특화 언어와 고수준 합성을 통해 비전문가 개발자가 저수준 하드웨어 복잡성을 추상화하여 HPDA의 프로그래밍 용이성 장벽을 극복한다.
• 메모리 계층 구조, 통신 패턴, 보안 제약 조건을 포함한 하드웨어 특성과 응용 프로그램을 공동 설계하여 효율적이고 안전하며 확장 가능한 데이터 처리를 가능하게 한다.
• 워크로드 및 데이터 조건에 따라 런타임에서 코드 및 하드웨어 변종을 동적으로 선택하여 성능과 에너지 효율성을 향상시킨다.
• 하드웨어 지원 암호화, 액세스 제어, 사이드 채널 보호 메커니즘을 활용하여 분산 시스템 전반에서 안전한 데이터 처리를 지원한다.

제안 방법

• 응용 프로그램 의미, 보안 요구사항, 데이터 접근 패턴을 고수준 추상화로 표현하기 위해 데이터 중심의 도메인 특화 언어(DSL) 프레임워크를 사용한다.
• 최신 프로그래밍 모델(SYCL, OpenCL, OpenMP)을 새로운 도메인 특화 확장과 통합하여 알고리즘 및 데이터 인식 최적화를 가능하게 한다.
• 고수준 합성(HLS)을 사용하여 고수준 C/C++ 또는 AI 프레임워크 코드에서 맞춤형 FPGA 가속기를 생성함으로써 데이터 집약적 워크로드의 하드웨어 가속을 가능하게 한다.
• 성능, 메모리, 에너지 메트릭을 기반으로 가이드된 복수의 변종 컴파일 프레임워크를 구현하여 소프트웨어 및 하드웨어 코드 경로의 다양한 변종을 탐색한다.
• 기본 CPU 및 가속기 이질성(x86, ARM, RISC-V, FPGAs)을 추상화하는 가상화된 런타임 환경을 구축하여 이식 가능하고 동적 실행을 가능하게 한다.
• 통합된 중간 표현(IR)과 메타데이터 기반 컴파일링을 적용하여 계산, 통신, 스토리지의 공최적화를 이루며, 계산을 데이터에 가까이 이동시킨다.

실험 결과

연구 질문

• RQ1 이질적이고 분산되며 보안이 확보된 플랫폼에서 HPDA 응용 프로그램을 공동 최적화할 수 있는 통합 설계 환경을 어떻게 구축할 수 있는가?
• RQ2 도메인 특화 언어와 고수준 합성이 비전문가 개발자가 초대규모 데이터 분석에서 프로그래밍 용이성과 성능 이식성을 향상시키는 데 얼마나 기여할 수 있는가?
• RQ3 워크로드 및 데이터 조건 변화에 따라 코드 및 하드웨어 변종의 동적 런타임 적응이 성능과 에너지 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 하드웨어 지원 데이터 보호가 엣지 및 클라우드 배포 환경에서 AI 기반 빅데이터 분석을 보호하는 데 어떤 역할을 하는가?
• RQ5 데이터 기반 컴파일링 프레임워크는 기능 요구사항, 비기능적 제약 조건(Latency, 에너지) 및 하드웨어 특성을 효과적으로 어떻게 균형 잡을 수 있는가?

주요 결과

• EVEREST SDK는 비전문가 개발자가 도메인 특화 언어를 사용하여 복잡한 HPDA 워크로드를 표현할 수 있도록 하여, 이질적 FPGA 기반 플랫폼을 대상으로 하는 데 필요한 노력의 양을 크게 감소시켰다.
• 고수준 합성과 복수의 변종 컴파일링을 활용함으로써, 이 프레임워크는 데이터 집약적 워크로드에서 성능 향상과 에너지 소비 감소를 이룬 최적화된 하드웨어 가속기를 생성한다.
• 런타임 가상화를 통해 최적의 코드 및 하드웨어 변종을 투명하게 선택할 수 있어, 다양한 CPU 및 가속기 아키텍처에서 워크로드 및 데이터 변화에 동적으로 적응할 수 있다.
• 데이터 기밀성, 무결성 확보 및 사이드 채널 공격 방지를 위해 하드웨어 지원 암호화와 정보 흐름 추적 기능이 플랫폼에 통합되어 있다.
• 지능적인 메모리 관리와 데이터 국소성 최적화를 통해 대규모 분산 환경에서 워크플로우 처리 시간을 단축시키고 자원 활용도를 향상시켰다.
• 기상 예측, 대기질 모니터링, 지능형 교통 시스템 등의 사용 사례에서 SDK는 AI와 실시간 및 이력 데이터 융합을 통해 더 빠르고 정확한 예측을 가능하게 했다.