[논문 리뷰] Tejas Simulator : Validation against Hardware

Smruti R. Sarangi, Rajshekar Kalayappan외 2명|arXiv (Cornell University)|2015. 01. 29.

Parallel Computing and Optimization Techniques참고 문헌 3인용 수 5

한 줄 요약

이 논문은 Tejas 아키텍처 시뮬레이터를 실제 인텔 샌디 브리지 하드웨어와 비교하여 SPEC2006 및 SPLASH-2 벤치마크를 사용해 검증하였으며, 각각 평균 절대 오차율이 11.45% 및 18.77%를 기록하였다. 이 시뮬레이터는 MARSS, Sniper, FastMP와 같은 현존하는 도구들보다 정확도에서 뛰어나, 저수준의 마이크로아키텍처 세부 정보를 완전히 알지 못함에도 불구하고 실제 하드웨어 동작을 높은 정밀도로 모델링하고 있음을 보여준다.

ABSTRACT

In this report we show results that validate the Tejas architectural simulator against native hardware. We report mean error rates of 11.45% and 18.77% for the SPEC2006 and Splash2 benchmark suites respectively. These error rates are competitive and in most cases better than the numbers reported by other contemporary simulators.

연구 동기 및 목표

• 실제 하드웨어와의 비교를 통해 Tejas 아키텍처 시뮬레이터의 정확한 성능 모델링 능력을 검증하기 위해.
• 일련의 다양한 워크로드, 특히 순차적 및 병렬 벤치마크를 대상으로 Tejas의 시뮬레이션 정확도를 정량화하기 위해.
• Tejas의 상대적 정확도를 확립하기 위해 다른 널리 사용되는 시뮬레이터들과의 벤치마크를 수행하기 위해.
• 저수준 마이크로아키텍처 세부 정보가 불완전한 상황에서도 발생하는 오류의 원인을 특정하고 분석하기 위해.

제안 방법

• Tejas 시뮬레이터는 인텔 샌디 브리지 아키텍처를 탑재한 PowerEdge R620 서버의 하드웨어 구성과 가능한 한 유사하게 설정되었다.
• 각 벤치마크에 대해 10회 반복하여 리눅스의 'perf' 명령을 사용해 하드웨어 사이클 수를 측정하였다.
• 동일한 벤치마크를 Tejas에서 동일한 설정 파rameter로 시뮬레이션하여 시뮬레이션된 사이클 수와 실제 사이클 수를 비교하였다.
• 오차는 시뮬레이션된 사이클 수와 실제 사이클 수 간의 절대 차이를 모든 벤치마크 평균으로 계산하였다.
• 파이pline 폭, 캐시 계층, ROB 크기, 메모리 지연 시간 등의 시뮬레이션 파rameter는 대상 하드웨어 기반으로 정확히 모델링되었다.
• 순차적(SPEC2006) 및 병렬(SPLASH-2) 워크로드를 모두 사용하여 다양한 실행 패턴에서의 정확도를 평가하였다.

실험 결과

연구 질문

• RQ1 Tejas 시뮬레이터는 순차 워크로드에 대해 실제 하드웨어 사이클 수를 얼마나 정확하게 재현하는가?
• RQ2 병렬 워크로드를 시뮬레이션할 때 오차 수준은 어떠한가? 다른 시뮬레이터들과 비교해보면 어떠한가?
• RQ3 브랜치 예측기, 코herency 프로토콜 등 알려지지 않은 마이크로아키텍처 세부 정보가 시뮬레이션 정확도에 얼마나 영향을 미치는가?
• RQ4 MARSS, Sniper, FastMP와 같은 널리 사용되는 다른 시뮬레이터들과 비교했을 때 Tejas의 정확도는 어떠한가?

주요 결과

• SPEC2006 벤치마크 세트에서 Tejas는 평균 절대 오차율이 11.45%를 기록하였으며, 17개의 벤치마크 중 10개가 10% 이내의 오차를 보였다.
• SPLASH-2 세트에서는 평균 절대 오차율이 18.77%였으며, 오직 세 개의 벤치마크(radiosity, radix, water-spatial)만이 25% 이상의 오차를 기록하였다.
• Tejas는 SPEC2006에서 평균 오차율 23.46%를 기록한 MARSS와 SPLASH-2에서 평균 오차율 25%를 기록한 Sniper보다 정확도에서 뛰어나, 뛰어난 정확도를 입증하였다.
• FastMP는 평균 오차율이 낮은 9.56%를 기록했지만, 일부 벤치마크에서는 최대 40%의 오차를 기록한 반면, Tejas는 최대 오차율이 약 27%로 일관된 성능을 유지하였다.
• 브랜치 예측기 및 캐시 코herency 프로토콜과 같은 저수준 구성 요소의 정보가 불완전한 상황에서도 Tejas는 경쟁 가능한 정확도를 달성하였다.
• 결과적으로 Tejas는 아키텍처 연구를 위한 신뢰할 수 있고 고정밀도의 시뮬레이션 환경을 제공함을 확인하였다.