[논문 리뷰] Dynamic Simultaneous Multithreaded Architecture

Daniel Ortíz-Arroyo, B. Lee|arXiv (Cornell University)|2024. 09. 12.

Embedded Systems Design Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 제어 흐름의 예측 가능성과 비추측적 실행에서 유도된 런타임 힌트를 사용하여 단일 프로그램 컨텍스트에서 동적으로 스레드를 생성하고 추측적으로 실행하는 새로운 SMT 프로세서 아키텍처인 동적 동시 다중 스레딩 아키텍처(DSMT)를 제안한다. 종속성 추적을 위해 상태 비트를 사용하고 과거 성능에 기반한 탐욕스러운 정책을 적용하여 스레드 수준 병렬성을 극대화하면서 잘못된 추측를 최소화한다. 단일 프로그램 환경에서도 시뮬레이션 결과 SMT 성능 향상이 뚜렷하게 나타난다.

ABSTRACT

This paper presents the Dynamic Simultaneous Multi-threaded Architecture (DSMT). DSMT efficiently exe-cutes multiple threads from a single program on a SMT processor core. To accomplish this, threads are generated dynamically from a predictable flow of control and then executed speculatively. Data obtained during the single context non-speculative execution phase of DSMT is used as a hint to speculate the posterior behavior of multiple threads. DSMT employs simple mechanisms based on state bits that keep track of inter-thread dependencies in registers and memory, synchronize thread execution, and control recovery from misspeculation. Moreover, DSMT utilizes a novel greedy policy for choosing those sections of code which provide the highest performance based on their past execution history. The DSMT architecture was simulated with a new cycle-accurate, execution-driven simulator. Our simulation results show that DSMT has very good potential to improve SMT performance, even when only a single program is available. However, we found that dynamic thread behavior together with fre-quent misspeculation may also produce diminishing re-turns in performance. Therefore, the challenge is to max-imize the amount of thread-level parallelism that DSMT is capable of exploiting and at the same time reduce the fre-quency of misspeculations.

연구 동기 및 목표

• 단일 제어 흐름에서 동적으로 여러 추측 스레드를 생성함으로써 단일 프로그램 SMT 성능을 향상시키기.
• 런타임 피드백과 예측적 스레드 선택을 통해 잘못된 추측 오버헤드를 줄이기.
• 레지스터와 메모리의 경량 상태 비트를 사용해 스레드 간 종속성을 효율적으로 관리하기.
• 단일 프로그램 실행 환경에서 이용 가능한 스레드 수준 병렬성을 극대화하기.
• 동적 멀티스레딩에서 성능 향상과 잘못된 추측 빈도 사이의 트레이드오프 평가하기.

제안 방법

• 비추측적 실행 단계 동안 예측 가능한 제어 흐름 패턴에서 스레드를 동적으로 생성한다.
• 단일 컨텍스트 실행에서 유도된 데이터를 힌트로 사용하여 다중 스레드의 추측적 실행을 이끌어낸다.
• 레지스터와 메모리의 스레드 간 종속성을 정확한 동기화을 위해 상태 비트로 추적한다.
• 과거 성능에 기반한 탐욕스러운 스레드 선택 정책을 적용하여 높은 이점이 예상되는 코드 섹션을 우선순위로 지정한다.
• 잘못된 추측를 처리하기 위해 경량 동기화 및 복구 메커니즘을 사용하여 최소한의 오버헤드를 유도한다.
• 성능 및 잘못된 추측 빈도 평가를 위해 사이클 정확도가 높고 실행 기반 시뮬레이터를 사용해 DSMT 아키텍처를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 단일 프로그램 컨텍스트에서 동적 스레드 생성이 SMT 성능을 뚜렷하게 향상시킬 수 있는가?
• RQ2 과거 실행 이력에 기반한 추측적 실행이 잘못된 추측 빈도와 성능에 어떤 영향을 미치는가?
• RQ3 복잡한 하드웨어 없이 상태 비트가 스레드 간 종속성을 얼마나 효과적으로 관리할 수 있는가?
• RQ4 과거 데이터 기반 동적 스레드 생성과 탐욕스러운 선택의 조합이 성능에 어떤 영향을 미치는가?
• RQ5 잘못된 추측의 빈도는 SMT 아키텍처에서 동적 멀티스레딩의 확장성에 어떤 제약을 가하는가?

주요 결과

• DSMT는 단일 프로그램이 존재하는 경우에도 SMT 실행에서 뚜렷한 성능 향상을 달성한다.
• 과거 실행 이력에 기반한 탐욕스러운 스레드 선택 정책이 추측에 적합한 높은 이점이 예상되는 코드 섹션을 효과적으로 식별한다.
• 상태 비트는 레지스터와 메모리의 스레드 간 종속성을 낮은 하드웨어 비용으로 효율적으로 추적하는 데 효과적인 메커니즘을 제공한다.
• 빈번한 잘못된 추측는 성능 향상을 감소시키며, 병렬성 활용과 추측 정확성 사이의 트레이드오프를 시사한다.
• 아키텍처는 SMT 스루풋을 향상시킬 잠재력을 보이며, 그러나 추측 오버헤드를 신중하게 관리해야 한다.
• 시뮬레이션 결과는 잘못된 추측를 지능적인 스레드 선택을 통해 최소화할 경우 DSMT가 성능을 크게 향상시킬 수 있음을 확인한다.