[論文レビュー] BEEBS: Open Benchmarks for Energy Measurements on Embedded Platforms

James Pallister, Simon Hollis+2 more|arXiv (Cornell University)|Aug 23, 2013

Parallel Computing and Optimization Techniques参考文献 21被引用数 80

ひとこと要約

BEEBS は、さまざまな組み込みプロセッサアーキテクチャ間でのエネルギー消費を測定・比較するために設計された、10個の組み込みアプリケーションからなるオープンでポータブルなベンチマークスイートである。実際のハードウェア測定と線形回帰を用いた命令レベルの消費電力の分析により、エネルギー効率における顕著な差が明らかになった。ARM Cortex-M0 は 170µW/MHz、Epiphany は 65µW/MHz、XMOS は 88µW/MHz を示し、アーキテクチャ固有の電力特性が浮き彫りになった。

ABSTRACT

Benchmarking is crucial in code optimization. It is required to have a set of programs that we consider representative to validate optimization techniques or evaluate predictive performance models. However, there is a shortage of available benchmarks for code optimization, more pronounced when using machine learning techniques. The problem lies in the number of programs for testing because these techniques are sensitive to the quality and quantity of data used for training. Our work aims to address these limitations. We present a methodology to efficiently generate benchmarks for the code optimization domain. It includes an automatic code generator, an associated DSL handling, the high-level specification of the desired code, and a smart strategy for extending the benchmark as needed. The strategy is based on Active Learning techniques and helps to generate the most representative data for our benchmark. We observed that Machine Learning models trained on our benchmark produce better quality predictions and converge faster. The optimization based on the Active Learning method achieved up to 15% more speed-up than the passive learning method using the same amount of data.

研究の動機と目的

• 深く組み込まれたシステムにおけるエネルギー消費を測定するために特に設計されたオープンでポータブルなベンチマークスイートの不足に対処すること。
• オペレーティングシステムやファイルシステムを必要としない、ベアメタル組み込みプラットフォームで実行可能なベンチマークスイートの作成。
• 異なるプロセッサアーキテクチャ間で、整数、浮動小数点、メモリ集約的、分岐命令などの異なる命令タイプにおけるエネルギー消費のばらつきを明らかにすること。
• 実際のハードウェア測定を用いて、命令単位の消費電力の測定と比較を標準化・再現可能にする手法の提供。
• 研究者や開発者が実際の消費電力データに基づいて、組み込みプロセッサのエネルギー効率を評価・比較できるようにすること。

提案手法

• MiBench、WCET、DSPstone などの既存スイートから、ベアメタル実行およびエネルギー特性の評価に適したベンチマークを10個選定。
• OS依存性の削除、メモリ使用量の低減、低消費電力プラットフォームにおける実行時間のスケーラビリティを確保するため、ベンチマークの修正。
• シャント抵抗と電力ログ記録装置を用いて、3つのハードウェアプラットフォーム（ARM Cortex-M0、Adapteva Epiphany、XMOS XS1-L1）で実際の消費電力を測定。
• 各ベンチマークの命令レベルトレースを収集し、整数、浮動小数点、メモリ、分岐命令の分布を分析。
• 全消費電力と各カテゴリの命令数の関係を線形回帰で分析し、命令タイプごとの平均消費電力を導出。
• コアおよびMHz単位にスケーリングすることで、異なるアーキテクチャ間でのエネルギー効率の比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なる組み込みプロセッサアーキテクチャは、命令タイプごとにエネルギー消費がどのように異なるか？
• RQ2 ポータブルでベアメタル対応のベンチマークスイートは、多様な組み込みプラットフォームにおけるエネルギー消費特性を効果的に露わにできるか？
• RQ3 現代の組み込みプロセッサにおいて、整数、浮動小数点、メモリ、分岐命令などの異なる命令カテゴリの相対的電力コストは何か？
• RQ4 パイプラインの深さやFPUの複雑さといったアーキテクチャ的特徴は、命令単位の消費電力にどの程度影響を与えるか？
• RQ5 実際のハードウェア測定による消費電力と、命令レベルのプロファイルを相関付けることで、命令単位のエネルギーコストを信頼性高く導出できるか？

主な発見

• ARM Cortex-M0 は平均命令消費電力が 170µW/MHz と最も高く、次いで XMOS が 88µW/MHz、Adapteva Epiphany が 65µW/MHz であり、これはアーキテクチャのエネルギー効率の差を反映している。
• ARM Cortex-M0 ではメモリアクセス命令が整数演算より消費電力が高いが、XMOS ではメモリアクセスと分岐命令の電力コストがほぼ同一であり、パイプラインアーキテクチャによるものと推察される。
• Epiphany プロセッサでは分岐命令の消費電力がメモリアクセスのほぼ2倍であり、これは分岐予測ミスに伴うパイプラインフラッシュの影響とされる。
• Epiphany では浮動小数点演算の消費電力が整数演算より高いが、これはFPUの回路構造の複雑さに起因する。
• ベンチマーク間で命令の分布は、プラットフォーム間で30％以内のばらつきに収まり、スイートのポータビリティと代表的妥当性が裏付けられた。
• 線形回帰モデルは、実際のハードウェア測定から命令単位の消費電力を的確に導出でき、信頼性の高いクロスプラットフォームエネルギー比較を可能にした。