[논문 리뷰] BEEBS: Open Benchmarks for Energy Measurements on Embedded Platforms

James Pallister, Simon Hollis외 2명|arXiv (Cornell University)|2013. 08. 23.

Parallel Computing and Optimization Techniques참고 문헌 21인용 수 80

한 줄 요약

BEEBS는 다양한 임베디드 프로세서 아키텍처 간의 에너지 소비를 측정하고 비교하기 위해 설계된 10개의 임베디드 애플리케이션으로 구성된 오픈소스이자 이식 가능한 벤치마크 세트이다. 실제 하드웨어 측정과 선형 회귀를 통한 명령어 수준의 전력 소모 분석을 통해, 에너지 효율성의 상당한 차이를 드러내며, ARM Cortex-M0는 170µW/MHz, Epiphany는 65µW/MHz, XMOS는 88µW/MHz를 소비함을 확인하였다. 이는 아키텍처에 특화된 전력 특성을 강조한다.

ABSTRACT

Benchmarking is crucial in code optimization. It is required to have a set of programs that we consider representative to validate optimization techniques or evaluate predictive performance models. However, there is a shortage of available benchmarks for code optimization, more pronounced when using machine learning techniques. The problem lies in the number of programs for testing because these techniques are sensitive to the quality and quantity of data used for training. Our work aims to address these limitations. We present a methodology to efficiently generate benchmarks for the code optimization domain. It includes an automatic code generator, an associated DSL handling, the high-level specification of the desired code, and a smart strategy for extending the benchmark as needed. The strategy is based on Active Learning techniques and helps to generate the most representative data for our benchmark. We observed that Machine Learning models trained on our benchmark produce better quality predictions and converge faster. The optimization based on the Active Learning method achieved up to 15% more speed-up than the passive learning method using the same amount of data.

연구 동기 및 목표

• 심층 임베디드 시스템에서 에너지 소비를 측정하기 위해 특별히 설계된 오픈소스이자 이식 가능한 벤치마크 세트의 부족을 해결하기 위해.
• 운영 체제나 파일 시스템이 필요 없이 베어 메탈 임베디드 플랫폼에서 실행 가능한 벤치마크 세트를 만들기 위해.
• 다양한 프로세서 아키텍처 간에 정수, 부동소수점, 메모리 집약적, 분기 연산 등의 명령어 유형에 따른 에너지 소비의 변동성을 드러내기 위해.
• 실제 하드웨어 측정을 기반으로 한 표준화되고 재현 가능한 방법을 제공하여 명령어 단위의 전력 소모를 측정하고 비교할 수 있도록 하기 위해.
• 연구자와 개발자가 실제 전력 소비 데이터를 바탕으로 임베디드 프로세서의 에너지 효율성을 평가하고 비교할 수 있도록 하기 위해.

제안 방법

• 베어 메탈 실행과 에너지 특성 분석에 적합한지 평가한 후, MiBench, WCET, DSPstone 등의 기존 벤치마크 세트에서 10개의 벤치마크를 선별하기 위해.
• 운영 체제 의존성을 제거하고 메모리 사용량을 줄이며, 저전력 플랫폼에서 실행 시간 스케일러빌리티를 확보하기 위해 벤치마크를 수정하기 위해.
• 실제 전력 소모를 측정하기 위해, ARM Cortex-M0, Adapteva Epiphany, XMOS XS1-L1 세 가지 하드웨어 플랫폼에서 샤프트 저항과 전력 로거를 사용한 설정을 활용하기 위해.
• 각 벤치마크의 명령어 수준 트레이스를 수집하여 정수, 부동소수점, 메모리, 분기 연산 등의 명령어 유형 분포를 분석하기 위해.
• 총 전력 소모와 각 유형별 명령어 수 사이의 상관관계를 분석하기 위해 선형 회귀를 적용하여 명령어 유형당 평균 전력 소모를 유도하기 위해.
• 에너지 효율성의 교차 아키텍처 비교를 가능하게 하기 위해 코어와 MHz 단위로 결과를 스케일링하기 위해.

실험 결과

연구 질문

• RQ1 다양한 임베디드 프로세서 아키텍처는 명령어 유형별로 에너지 소비에 어떻게 차이가 나는가?
• RQ2 이식 가능하고 베어 메탈 기반의 벤치마크 세트는 다양한 임베디드 플랫폼 간의 에너지 소비 특성을 효과적으로 드러낼 수 있는가?
• RQ3 현대 임베디드 프로세서에서 정수, 부동소수점, 메모리, 분기 연산 등의 다양한 명령어 유형의 상대적 전력 비용은 어떠한가?
• RQ4 파이pline 깊이와 FPU 복잡성과 같은 아키텍처적 특징은 명령어 단위 전력 소모에 어떤 영향을 미치는가?
• RQ5 실제 하드웨어 측정을 통한 전력 소모와 명령어 수준 프로파일 간의 상관관계를 신뢰할 수 있을 정도로 유도할 수 있는가? 그리고 이를 통해 명령어 단위 에너지 비용을 도출할 수 있는가?

주요 결과

• ARM Cortex-M0는 평균 명령어 전력 소모가 170µW/MHz로 가장 높으며, 그 다음 XMOS가 88µW/MHz, Adapteva Epiphany가 65µW/MHz를 기록하여 아키텍처적 차이에 따른 에너지 효율성의 다양성을 반영한다.
• ARM Cortex-M0에서는 메모리 액세스 연산이 정수 산술보다 더 전력 소모가 크며, XMOS에서는 파이프라인 아키텍처로 인해 메모리와 분기 연산의 전력 비용이 거의 동일하다.
• Epiphany 프로세서에서 분기 연산은 메모리 액세스보다 약 두 배의 전력을 소비하며, 이는 잘못된 예측 시 파이프라인 플러시로 인한 것으로 보인다.
• Epiphany에서 부동소수점 연산은 정수 연산보다 더 많은 전력을 소모하며, 이는 FPU의 회로 복잡성 증가로 인한 것이다.
• 벤치마크 간의 명령어 분포는 플랫폼 간 약 30% 이내의 변동성을 보이며, 이는 벤치마크 세트의 이식 가능성과 교차 아키텍처 에너지 프로파일링에 대한 대표성을 입증한다.
• 선형 회귀 모델은 실제 하드웨어 측정을 기반으로 명령어 단위 전력 소모를 성공적으로 유도하여 정확한 교차 플랫폼 에너지 비교를 가능하게 하였다.