[논문 리뷰] BenchCouncil's View on Benchmarking AI and Other Emerging Workloads

Jianfeng Zhan, Lei Wang외 2명|arXiv (Cornell University)|2019. 12. 02.

Software System Performance and Reliability참고 문헌 21인용 수 7

한 줄 요약

이 논문은 AI, 빅데이터, 인터넷 서비스와 같은 현대 워크로드를 위한 벤치마킹 규칙 프레임워크인 PRDAERS를 제안하며, 분할, 고립, 확률성 등의 과제를 다룹니다. 이는 효율적이고 일반적인 목적의 벤치마킹을 다양한 아키텍처에서 가능하게 하는 단순하고 추상적이며 이식 가능한 추상화(예: 데이터 모티프)를 주장합니다.

ABSTRACT

This paper outlines BenchCouncil's view on the challenges, rules, and vision of benchmarking modern workloads like Big Data, AI or machine learning, and Internet Services. We conclude the challenges of benchmarking modern workloads as FIDSS (Fragmented, Isolated, Dynamic, Service-based, and Stochastic), and propose the PRDAERS benchmarking rules that the benchmarks should be specified in a paper-and-pencil manner, relevant, diverse, containing different levels of abstractions, specifying the evaluation metrics and methodology, repeatable, and scaleable. We believe proposing simple but elegant abstractions that help achieve both efficiency and general-purpose is the final target of benchmarking in future, which may be not pressing. In the light of this vision, we shortly discuss BenchCouncil's related projects.

연구 동기 및 목표

• AI, 빅데이터, 인터넷 서비스와 같은 현대 워크로드의 벤치마킹 과제가 증가하는 데 대응합니다.
• 신규 워크로드에서 발생하는 분할, 고립, 동적 복잡성, 서비스 기반 아키텍처, 그리고 확률성을 극복합니다.
• 다양한 컴퓨팅 환경에 적용 가능한 원칙적인, 반복 가능한, 확장 가능한 벤치마킹 방법론을 수립합니다.
• 효율성과 일반 목적 사용을 통합하는 단순하고 우아한 추상화(예: 데이터 모티프)의 개발을 촉진합니다.
• BENCHCPU 및 EChip과 같은 프로젝트를 통해 개방형, 이식 가능하고 상호 운용 가능한 벤치마킹을 발전시킵니다.

제안 방법

• PRDAERS를 벤치마킹 프레임워크로 제안: 종이와 연필로 작성된 사양, 관련성, 다양성, 다수의 추상화 수준, 평가 지표 및 방법론, 반복 가능성, 확장성.
• 데이터 모티프—행렬, 집합, 그래프, 정렬과 같은 재사용 가능한 계산 패턴—을 도입하여 빅데이터 및 AI 워크로드를 모델링하는 기본 추상화로 삼습니다.
• 에지, IoT, 데이터센터 시스템 전반에서 신규 워크로드를 특성화하기 위해 이식 가능하고 ISA에 종속되지 않는 벤치마크 세트인 BENCHCPU를 설계합니다.
• AI 및 데이터 집약적 워크로드를 위한 일반 목적 지시어와 도메인 특화 지시어를 결합한 개방형, 확장 가능한 명령어 세트 아키텍처인 EChip을 개발합니다.
• 기능적 워크로드 모델링과 추상화 계층을 사용하여 핵심 워크로드 특성을 압축하면서 의미의 정밀도를 유지합니다.
• IoT, 에지, 데이터센터, HPC 환경을 구분하는 다중 맥락 접근 방식을 통해 벤치마킹을 수행합니다.

실험 결과

연구 질문

• RQ1 벤치마킹은 현대 AI 및 데이터 집약적 워크로드에서 나타나는 FIDSS 과제—분할, 고립, 동적, 서비스 기반, 확률성—를 어떻게 해결할 수 있나요?
• RQ2 하드웨어와 소프트웨어 스택이 진화함에 따라 벤치마킹이 여전히 관련성 있고 반복 가능하며 확장 가능한 데 필요한 원칙은 무엇인가요?
• RQ3 행렬, 집합, 그래프, 정렬과 같은 단순하고 우아한 추상화인 데이터 모티프가 다양한 AI 및 빅데이터 워크로드를 통합하면서 성능과 이식 가능성을 유지할 수 있나요?
• RQ4 오픈형, 커뮤니티 기반의 벤치마킹 이니셔티브는 산업과 학계 간 실제 데이터와 모델의 고립을 어떻게 극복할 수 있나요?
• RQ5 도메인 특화 지시어 세트와 일반 목적의 ISA가 EChip과 같은 단일, 확장 가능하고 개방형 아키텍처에서 어떻게 공존할 수 있나요?

주요 결과

• 분할, 고립, 동적, 서비스 기반, 확률성의 FIDSS 과제는 전통적 벤치마크에 비해 현대 워크로드의 벤치마킹을 상당히 복잡하게 만듭니다.
• PRDAERS 프레임워크는 시스템 전반에서 사양의 명확성, 관련성, 다양성, 확장성을 보장하는 체계적인 벤치마킹 접근 방식을 제공합니다.
• 행렬, 집합, 그래프, 정렬과 같은 데이터 모티프는 빅데이터 및 AI 워크로드의 대부분의 런타임을 차지하므로 통합 추상화의 강력한 후보입니다.
• BENCHCPU는 에지, IoT, 데이터센터 플랫폼 전반에서 신규 워크로드를 특성화하기 위해 이식 가능하고 ISA에 종속되지 않는 벤치마크 세트로 개발 중입니다.
• EChip은 안정적이고 리눅스 호환성 있는 일반 목적 지시어 세트와 AI 및 데이터 워크로드를 위한 사용자 정의 가능한 도메인 특화 확장을 결합한 개방형, 확장 가능한 ISA입니다.
• 논문은 단순하고 우아한 추상화를 통한 일반 목적의 효율성은 장기적인 목표이지만 현재로서는 긴급하지 않다고 결론내립니다. 그러나 BenchCouncil의 프로젝트를 통해 기초 작업이 이미 진행 중입니다.