[論文レビュー] BenchCouncil's View on Benchmarking AI and Other Emerging Workloads

Jianfeng Zhan, Lei Wang+2 more|arXiv (Cornell University)|Dec 2, 2019

Software System Performance and Reliability参考文献 21被引用数 7

ひとこと要約

本論文は、AI、ビッグデータ、インターネットサービスなどの現代的ワークロードを対象としたベンチマーク規則のフレームワークであるPRDAERSを提案する。このフレームワークは、断片化、隔離、確率的要因といった課題に対処し、単純で抽象的かつポータブルな抽象化（例：データモチーフ）を提唱することで、多様なアーキテクチャにわたる効率的で汎用的なベンチマーク手法の実現を可能にする。

ABSTRACT

This paper outlines BenchCouncil's view on the challenges, rules, and vision of benchmarking modern workloads like Big Data, AI or machine learning, and Internet Services. We conclude the challenges of benchmarking modern workloads as FIDSS (Fragmented, Isolated, Dynamic, Service-based, and Stochastic), and propose the PRDAERS benchmarking rules that the benchmarks should be specified in a paper-and-pencil manner, relevant, diverse, containing different levels of abstractions, specifying the evaluation metrics and methodology, repeatable, and scaleable. We believe proposing simple but elegant abstractions that help achieve both efficiency and general-purpose is the final target of benchmarking in future, which may be not pressing. In the light of this vision, we shortly discuss BenchCouncil's related projects.

研究の動機と目的

• AI、ビッグデータ、インターネットサービスなどの現代的ワークロードにおけるベンチマーク手法の課題の増大に対処すること。
• 新興ワークロードに見られる断片化、隔離、動的複雑性、サービス指向アーキテクチャ、確率的要因といった課題を克服すること。
• 多様なコンピューティング環境に適用可能な、原理的で再現可能かつスケーラブルなベンチマーク手法を確立すること。
• 効率性と汎用性を統合する多様なシステムに適した、単純で洗練された抽象化（例：データモチーフ）の開発を促進すること。
• BENCHCPU や EChip といったプロジェクトを通じて、オープンでポータブルかつ相互運用可能なベンチマーク手法を前進させること。

提案手法

• PRDAERSをベンチマークフレームワークとして提案：ペーパーアンドペニー形式の仕様、関連性、多様性、複数の抽象化レベル、評価指標および手法、再現可能性、スケーラビリティ。
• データモチーフ（例：行列、集合、グラフ、ソート）といった再利用可能な計算パターンを、ビッグデータおよびAIワークロードのモデリングに用いる基盤となる抽象化として導入。
• エッジ、IoT、データセンターシステムをカバーする、エッジ、IoT、データセンタープラットフォームにおける新興ワークロードを特徴付ける、ポータブルでISA非依存のベンチマークスイートBENCHCPUを設計。
• AIおよびデータ集約的ワークロード向けに、汎用命令セットとドメイン特化命令を統合した、オープンソースで拡張可能な命令セットアーキテクチャEChipを開発。
• 機能的ワークロードモデリングと抽象化レイヤーを用いて、意味的整合性を保ちつつ、ワークロードの本質的属性を要約すること。
• IoT、エッジ、データセンター、HPC環境を区別する多コンテキストアプローチを用いてベンチマーク手法を設計。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてベンチマーク手法が、現代のAIおよびデータ集約的ワークロードに見られるFIDSS課題（断片化、隔離、動的、サービス指向、確率的）に対処できるか？
• RQ2 ハードウェアおよびソフトウェアスタックの進化に伴っても、ベンチマークが関連性、再現可能性、スケーラビリティを保つために必要な原則は何か？
• RQ3 単純で洗練された抽象化（例：データモチーフ）が、多様なAIおよびビッグデータワークロードを統合しつつ、パフォーマンスとポータビリティを維持できるか？
• RQ4 オープンでコミュニティ主導のベンチマークイニシャチブは、産業界と学術界の間で実世界のデータやモデルが隔離されている状況をどのように克服できるか？
• RQ5 ドメイン特化命令セットと汎用ISAが、EChipのような1つの拡張可能でオープンなアーキテクチャ内で、どのように共存できるか？

主な発見

• FIDSS課題（断片化、隔離、動的、サービス指向、確率的）は、従来のベンチマークと比較して、現代のワークロードにおけるベンチマーク作成を著しく複雑にする。
• PRDAERSフレームワークは、仕様の明確さ、関連性、多様性、スケーラビリティを確保する構造化されたベンチマーク手法を提供する。
• 行列、集合、グラフ、ソートといったデータモチーフは、ビッグデータおよびAIワークロードの大部分の実行時間を占めているため、統合的抽象化の強力な候補である。
• BENCHCPUは、エッジ、IoT、データセンタープラットフォームにおける新興ワークロードを特徴付ける、ポータブルでISA非依存のベンチマークスイートとして開発中である。
• EChipは、安定的でLinux互換性のある汎用命令セットと、AIおよびデータワークロード向けにカスタマイズ可能なドメイン特化拡張を統合したオープンソースで拡張可能なISAである。
• 本論文は、汎用的効率性を実現する単純で洗練された抽象化は長期的な目標ではあるが、現時点では急務ではないと結論づける。しかしその基盤的作業は、BenchCouncilのプロジェクトを通じて既に進行中である。