[논문 리뷰] Data Motifs: A Lens Towards Fully Understanding Big Data and AI Workloads

Wanling Gao, Jianfeng Zhan외 10명|arXiv (Cornell University)|2018. 08. 26.

Software System Performance and Reliability인용 수 7

한 줄 요약

이 논문은 대규모 데이터 및 AI 워크로드의 핵심 성능 특성을 포착하는 추상적이고 재사용 가능한 계산 패턴인 '데이터 모티프'(data motifs)를 소개한다. 매트릭스, 샘플링, 논리, 변환, 집합, 그래프, 정렬, 통계의 여덟 가지 주요 모티프를 식별함으로써 체계적인 성능 특성 분석을 가능하게 하고 도메인 특화 하드웨어 및 소프트웨어 공동 설계의 길을 열어 놓는다.

ABSTRACT

The complexity and diversity of big data and AI workloads make understanding them difficult and challenging. This paper proposes a new approach to modelling and characterizing big data and AI workloads. We consider each big data and AI workload as a pipeline of one or more classes of units of computation performed on different initial or intermediate data inputs. Each class of unit of computation captures the common requirements while being reasonably divorced from individual implementations, and hence we call it a data motif. For the first time, among a wide variety of big data and AI workloads, we identify eight data motifs that take up most of the run time of those workloads, including Matrix, Sampling, Logic, Transform, Set, Graph, Sort and Statistic. We implement the eight data motifs on different software stacks as the micro benchmarks of an open-source big data and AI benchmark suite ---BigDataBench 4.0 (publicly available from http://prof.ict.ac.cn/BigDataBench), and perform comprehensive characterization of those data motifs from perspective of data sizes, types, sources, and patterns as a lens towards fully understanding big data and AI workloads. We believe the eight data motifs are promising abstractions and tools for not only big data and AI benchmarking, but also domain-specific hardware and software co-design.

연구 동기 및 목표

• 대규모 데이터 및 AI 워크로드의 복잡하고 급격히 변화하는 성격을 이해하는 데 도전한다.
• 모의 실험 및 성능 분석에 적합하지 않은 너무 크거나 복잡하거나 대표성이 떨어지는 기존 벤치마크의 한계를 극복한다.
• 다양한 워크로드에 걸쳐 공통적으로 나타나는 근본적이고 시간 소모가 큰 계산 단위를 식별하여 대상 최적화를 가능하게 한다.
• 성능에 중요한 영향을 미치는 패턴을 추상화하여 도메인 특화 하드웨어 및 소프트웨어 공동 설계의 기반을 마련한다.
• 이러한 모티프에서 파생된 마이크로벤치마크를 통해 재현 가능하고 해석 가능하며 확장 가능한 성능 특성 분석을 가능하게 한다.

제안 방법

• 특정 구현 방식과 무관한 추상적 계산 클래스인 데이터 모티프 하나 이상의 파이프라인으로 대규모 데이터 및 AI 워크로드를 모델링한다.
• 다양한 워크로드를 대상으로 런타임 특성 분석을 통해 여덟 가지 주요 데이터 모티프를 식별한다: 매트릭스, 샘플링, 논리, 변환, 집합, 그래프, 정렬, 통계.
• 이식성과 현실성 확보를 위해 각 모티프를 Hadoop, Spark, TensorFlow, Pthreads 등의 다양한 소프트웨어 스택에 구현한다.
• 시스템 및 마이크로아키텍처 행동을 포괄하기 위해 데이터 유형(텍스트, 시퀀스), 데이터 소스, 데이터 크기, 데이터 접근 패턴을 기반으로 모티프를 특성화한다.
• BigDataBench 4.0의 마이크로벤치마크를 활용하여 시스템 수준 지표(CPU 활용도, I/O, 페이지 장애 수)와 마이크로아키텍처적 병목 현상에 대한 성능을 측정한다.
• 데이터 표현 방식(예: 텍스트 vs. 시퀀스)의 차이가 메모리, I/O, CPU 활용도에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 대규모 데이터 및 AI 워크로드에 걸쳐 공통적으로 나타나는 주요이고 시간 소모가 큰 계산 패턴은 무엇인가?
• RQ2 데이터 유형, 크기, 소스, 접근 패턴의 변동이 이러한 핵심 계산 단위의 성능에 어떻게 영향을 미치는가?
• RQ3 이러한 추상화된 모티프가 벤치마킹과 시스템 공동 설계의 효과적인 빌딩 블록으로서 얼마나 유용한가?
• RQ4 다양한 데이터 표현 방식에서 데이터 모티프 간 시스템 수준의 행동(예: I/O, 메모리 접근, 페이지 장애)은 어떻게 다를까?
• RQ5 각 데이터 모티프에서 주요 성능 병목 현상(예: 메모리, 계산, I/O)은 무엇이며, 입력 특성에 따라 어떻게 변화하는가?

주요 결과

• 매트릭스, 샘플링, 논리, 변환, 집합, 그래프, 정렬, 통계의 여덟 가지 데이터 모티프는 조사된 대규모 데이터 및 AI 워크로드의 대부분의 런타임을 차지한다.
• 텍스트 유형 대비 시퀀스 유형을 사용할 경우 I/O 대역폭과 메모리 접근 요구량이 증가하여 성능이 최대 7.29배까지 떨어질 수 있다.
• Hadoop 정렬과 Spark 정렬은 주요 페이지 장애로 인해 심각한 성능 저하를 보이며, 실행당 총 100~200회의 페이지 장애가 발생하여 실행 시간에 영향을 준다.
• 텍스트 형식으로 정렬할 경우 백엔드 메모리 기반 병목 현상이 더 심각하여 캐시 및 메모리 지연이 시퀀스 형식보다 높은 것으로 나타났다.
• 동일한 데이터 크기라도 데이터 형식에 따라 I/O 대역폭 요구량이 크게 달라지며, 특히 시퀀스 형식은 훨씬 더 높은 I/O 대역폭을 요구한다.
• 데이터 모티프의 성능은 알고리즘에 의존할 뿐 아니라 입력 데이터 유형, 소스, 크기, 접근 패턴에 매우 민감하며, 특히 메모리 및 I/O 행동에서 두드러진다.