[论文解读] Network Design for Wafer-Scale Systems with Wafer-on-Wafer Hybrid Bonding

Patrick Iff, Tommaso Bonato+3 more|arXiv (Cornell University)|Mar 5, 2026

3D IC and TSV technologies被引用 0

一句话总结

该论文研究在晶圆对晶圆（wafer-on-wafer）键合晶圆上光阻对位如何影响晶圆尺度网络拓扑，并展示四种光阻对位可将吞吐量提升至基线2D网格的最高250%、时延降低至36%、每字节能耗降低至38%。

ABSTRACT

Transformer-based large language models are increasingly constrained by data movement as communication bandwidth drops sharply beyond the chip boundary. Wafer-scale integration using wafer-on-wafer hybrid bonding alleviates this limitation by providing ultra-high bandwidth between reticles on bonded wafers. In this paper, we investigate how the physical placement of reticles on wafers influences the achievable network topology and the resulting communication performance. Starting from a 2D mesh-like baseline, we propose four reticle placements (Aligned, Interleaved, Rotated, and Contoured) that improve throughput by up to 250%, reduce latency by up to 36%, and decrease energy per transmitted byte by up to 38%.

研究动机与目标

• 推动晶圆尺度集成作为缓解 transformer 基于 ML 工作负载的数据移动瓶颈的解决方案。
• 分析键合晶圆上的光阻对位如何决定可实现的网络拓扑。
• 提出对位方案（对齐Aligned、交错Interleaved、旋转Rotated、轮廓Contoured）以改善网络指标。
• 提供一种在不同集成层级、晶圆尺寸和工作负载下通过仿真评估拓扑结构的方法论。

提出的方法

• 将每个计算光阻建模为一个具备路由器、GPC 和本地 SRAM 的节点。
• 定义两种集成层级：逻辑在互连（LoI）与逻辑在逻辑（LoL）；分析200 mm和300 mm晶圆在不同晶圆利用率下的表现。
• 探索四种光阻对位及其对拓扑和基数的影响（对齐、交错、旋转、轮廓）。
• 使用Dijkstra路由并结合简单的循环破坏（SCB）以获得无死锁/无活锁的路径。
• 使用BookSim2进行逐时钟循环级仿真，Orion3.0进行面积/功耗评估（可扩展到7 nm），对合成流量和Llama-7B traces进行测试。
• 基准指标包括零负载时延、饱和吞吐量、平均跳数、路由器面积和网络能耗。

实验结果

研究问题

• RQ1 物理对位在对立晶圆上的放置如何影响在晶圆尺度上通过 wafer-on-wafer 混合键合实现的可达网络拓扑？
• RQ2 相比2D网格基线，新的对位方案（Aligned、Interleaved、Rotated、Contoured）是否能显著提升吞吐量、时延和每字节能耗？
• RQ3 LoI与LoL集成层级、晶圆直径与晶圆利用率如何影响优化对位的收益？
• RQ4 在设计/制造复杂性与性能提升之间的权衡对每种对位策略有何影响？
• RQ5 在合成流量下观察到的增益是否同样适用于真实世界的LLM训练轨迹（如Llama-7B）？

主要发现

• 对齐（Aligned）和交错（Interleaved）对位在晶圆利用率最大化的配置中显著提高吞吐量并降低时延。
• 旋转（Rotated）对位在平均路径长度的降低和基数的提升方面最强，单个互连光阻可达最多7个邻接，链接带宽最高可达6 TB/s。
• 轮廓（Contoured）对位在LoL（逻辑在逻辑）下大多数情况下提升吞吐量且相对基线不提升时延。
• 在不同集成层级、晶圆直径和工作负载中，提出的对位方案在相对于基线的情况下提供吞吐量提升可达250%、时延降低可达36%、每传输字节能耗下降可达38%。
• Llama-7B训练轨迹显示延迟平均降至基线的60%（最佳情况37%），在300 mm及LoI系统上收益更大。