[논문 리뷰] DAMOV: A New Methodology and Benchmark Suite for Evaluating Data Movement Bottlenecks

Geraldo F. Oliveira, Juan Gómez-Luna외 6명|arXiv (Cornell University)|2021. 05. 08.

Advanced Data Storage Technologies인용 수 5

한 줄 요약

DAMOV는 현대 애플리케이션의 데이터 이동 병목 현상을 체계적으로 분류하고 평가하기 위한 체계적 방법론과 오픈소스 벤치마크 세트를 소개한다. 345개 애플리케이션에 걸쳐 77,000개의 함수를 분석함으로써 메모리 트래픽을 유발하는 핵심 프로그램 성질을 특정하고, 전통적인(캐싱, 프리패칭) 및 신규 등장하는(Near-Data Processing) 기법들을 평가하여 최적의 최적화 전략을 데이터 기반으로 선별할 수 있도록 한다.

ABSTRACT

Data movement between the CPU and main memory is a first-order obstacle against improving performance, scalability, and energy efficiency in modern systems. Computer systems employ a range of techniques to reduce overheads tied to data movement, spanning from traditional mechanisms (e.g., deep multi-level cache hierarchies, aggressive hardware prefetchers) to emerging techniques such as Near-Data Processing (NDP), where some computation is moved close to memory. Our goal is to methodically identify potential sources of data movement over a broad set of applications and to comprehensively compare traditional compute-centric data movement mitigation techniques to more memory-centric techniques, thereby developing a rigorous understanding of the best techniques to mitigate each source of data movement. With this goal in mind, we perform the first large-scale characterization of a wide variety of applications, across a wide range of application domains, to identify fundamental program properties that lead to data movement to/from main memory. We develop the first systematic methodology to classify applications based on the sources contributing to data movement bottlenecks. From our large-scale characterization of 77K functions across 345 applications, we select 144 functions to form the first open-source benchmark suite (DAMOV) for main memory data movement studies. We select a diverse range of functions that (1) represent different types of data movement bottlenecks, and (2) come from a wide range of application domains. Using NDP as a case study, we identify new insights about the different data movement bottlenecks and use these insights to determine the most suitable data movement mitigation mechanism for a particular application. We open-source DAMOV and the complete source code for our new characterization methodology at https://github.com/CMU-SAFARI/DAMOV.

연구 동기 및 목표

• 다양한 도메인에 걸친 현대 애플리케이션에서 데이터 이동 병목 현상의 근본 원인을 체계적으로 식별하고 분류하는 것.
• 이러한 병목 현상 완화를 위해 전통적인 컴퓨팅 중심 기법(예: 캐싱, 프리패칭)과 메모리 중심 접근 방식(예: Near-Data Processing)의 효과성을 평가하는 것.
• 기본적인 프로그램 성질에 기반한 응용 프로그램 수준의 데이터 이동 행동을 체계적으로 특성화하는 데이터 기반의 방법론을 개발하는 것.
• 다양한 데이터 이동 패턴을 반영하는 대표성 있는 오픈소스 벤치마크 세트(DAMOV)를 구축하여 향후 연구를 위한 기반을 마련하는 것.
• 응용 프로그램 특성에 기반해 가장 적합한 데이터 이동 완화 기법을 선택하는 데 실질적인 통찰을 제공하는 것.

제안 방법

• 345개의 다양한 애플리케이션에 걸쳐 77,000개의 함수를 대규모 프로파일링하여 저수준 메모리 액세스 패턴과 데이터 이동 특성을 추출한다.
• 주로 발생하는 데이터 이동 원인(예: 비정규 액세스, 낮은 국지성, 큰 워킹 세트)에 따라 애플리케이션을 분류하는 체계적 분류 프레임워크를 제안한다.
• 프로파일링 데이터에서 144개의 대표성 있는 함수를 선별하여 DAMOV 벤치마크 세트를 구성함으로써 다양한 병목 현상 유형과 응용 분야를 포괄한다.
• Near-Data Processing(NDP)를 사례 연구로 활용하여 메모리 중심 최적화 기법이 각 병목 현상 유형에 어떻게 반응하는지 평가한다.
• 워크로드 특성 분석 기법을 활용하여 프로그램 수준의 성질(예: 액세스 스트라이드, 데이터 재사용)과 메모리 액세스 오버헤드 간의 상관관계를 분석한다.
• 모든 방법론과 DAMOV 벤치마크 세트를 https://github.com/CMU-SAFARI/DAMOV 에서 오픈소스로 공개하여 재현 가능성과 커뮤니티 활용을 보장한다.

실험 결과

연구 질문

• RQ1 현대 애플리케이션에서 주요 메모리로의 데이터 이동이 심각해지는 근본적인 프로그램 성질은 무엇인가?
• RQ2 비정규 액세스, 낮은 국지성, 높은 볼륨 등 다양한 유형의 데이터 이동 병목 현상은 응용 분야에 따라 어떻게 다를까?
• RQ3 각 병목 현상 유형에 대해 전통적인 컴퓨팅 중심 최적화 기법(예: 캐싱, 프리패칭)과 신규 메모리 중심 접근 방식(Near-Data Processing 포함)의 효과는 어떻게 다를까?
• RQ4 특정 응용 프로그램의 특성 액세스 패턴에 기반해 가장 적합한 데이터 이동 완화 기법은 무엇인가?
• RQ5 최적의 데이터 이동 최적화 전략 선택을 안내하기 위해 체계적이고 데이터 기반의 방법론을 수립할 수 있는가?

주요 결과

• 현대 애플리케이션은 도메인 간에 액세스 비정규성, 데이터 재사용, 워킹 세트 크기에서 큰 다양성을 보이며, 다양한 데이터 이동 패턴을 나타낸다.
• 캐싱 및 프리패칭과 같은 전통적 기법은 낮은 메모리 국지성과 비정규 액세스 패턴을 보이는 애플리케이션에는 종종 부족한 효과를 보이며, 이는 현대 워크로드에서 흔한 특성이다.
• Near-Data Processing(NDP)는 높은 메모리 대역폭 요구와 낮은 공간/시간 국지성을 보이는 애플리케이션에서 데이터 이동 오버헤드를 줄이는 데 강력한 잠재력을 보인다.
• DAMOV 벤치마크 세트는 144개의 다양한 함수를 포함하여 서로 다른 데이터 이동 병목 현상 유형을 대표하며, 최적화 기법의 타겟팅 평가를 가능하게 한다.
• 연구 결과에 따르면 어떤 한 기법도 항상 다른 기법보다 뛰어나지 않으며, 최적의 선택은 대상 애플리케이션의 특정 병목 현상 특성에 따라 크게 달라진다.
• 제안된 방법론은 데이터 이동 원인을 정확하게 분류할 수 있게 하여 향후 메모리 시스템의 하드웨어-소프트웨어 공동 설계를 위한 기반을 마련한다.