[论文解读] Dynamic Simultaneous Multithreaded Architecture

Daniel Ortíz-Arroyo, B. Lee|arXiv (Cornell University)|Sep 12, 2024

Embedded Systems Design Techniques参考文献 18被引用 3

一句话总结

该论文提出动态同时多线程架构（DSMT），一种新颖的SMT处理器设计，通过利用控制流可预测性以及非推测执行的运行时提示，从单个程序上下文中动态生成并推测性执行多个线程。它采用状态位追踪依赖关系，并基于历史性能的贪婪策略以最大化线程级并行性，同时最小化误预测，即使仅使用单个程序，仿真结果也显示出显著的SMT性能提升。

ABSTRACT

This paper presents the Dynamic Simultaneous Multi-threaded Architecture (DSMT). DSMT efficiently exe-cutes multiple threads from a single program on a SMT processor core. To accomplish this, threads are generated dynamically from a predictable flow of control and then executed speculatively. Data obtained during the single context non-speculative execution phase of DSMT is used as a hint to speculate the posterior behavior of multiple threads. DSMT employs simple mechanisms based on state bits that keep track of inter-thread dependencies in registers and memory, synchronize thread execution, and control recovery from misspeculation. Moreover, DSMT utilizes a novel greedy policy for choosing those sections of code which provide the highest performance based on their past execution history. The DSMT architecture was simulated with a new cycle-accurate, execution-driven simulator. Our simulation results show that DSMT has very good potential to improve SMT performance, even when only a single program is available. However, we found that dynamic thread behavior together with fre-quent misspeculation may also produce diminishing re-turns in performance. Therefore, the challenge is to max-imize the amount of thread-level parallelism that DSMT is capable of exploiting and at the same time reduce the fre-quency of misspeculations.

研究动机与目标

• 通过从单一控制流动态生成多个推测线程，提升单程序SMT性能。
• 通过运行时反馈和预测性线程选择，减少误预测开销。
• 使用轻量级状态位高效管理寄存器和内存中的线程间依赖关系。
• 在单程序执行环境中最大化可利用的线程级并行性。
• 评估动态多线程中性能提升与误预测频率之间的权衡。

提出的方法

• 在非推测执行阶段，从可预测的控制流模式中动态生成线程。
• 利用单上下文执行的数据作为提示，指导多个线程的推测执行。
• 使用状态位追踪寄存器和内存中的线程间依赖关系，以实现正确同步。
• 基于历史性能应用贪婪线程选择策略，优先选择高收益代码段。
• 使用轻量级同步与恢复机制，以最小开销处理误预测。
• 使用周期精确、执行驱动的仿真器对DSMT架构进行仿真，以评估性能和误预测率。

实验结果

研究问题

• RQ1 从单个程序上下文动态生成线程是否能显著提升SMT性能？
• RQ2 基于历史执行记录的推测执行如何影响误预测频率和性能？
• RQ3 状态位在无需复杂硬件的情况下，能在多大程度上有效管理线程间依赖关系？
• RQ4 将动态线程创建与基于历史数据的贪婪选择相结合，其性能影响如何？
• RQ5 误预测频率如何限制SMT架构中动态多线程的可扩展性？

主要发现

• 即使仅有一个程序可用，DSMT在SMT执行中仍实现了显著的性能提升。
• 基于历史执行记录的贪婪线程选择策略能有效识别出适合推测的高收益代码段。
• 状态位为寄存器和内存中的线程间依赖关系提供了高效追踪机制，硬件开销极低。
• 频繁的误预测会降低性能增益，表明并行性利用与推测准确性之间存在权衡。
• 该架构在提升SMT吞吐量方面展现出巨大潜力，但需谨慎管理推测开销。
• 仿真结果证实，当通过智能线程选择最小化误预测时，DSMT能显著提升性能。