[论文解读] Accelerating Diffusion Models for Generative AI Applications with Silicon Photonics

Tharini Suresh, Salma Afifi+1 more|arXiv (Cornell University)|Mar 8, 2026

Neural Networks and Reservoir Computing被引用 0

一句话总结

论文提出基于硅光子学的扩散模型加速器，在能耗效率方面至少比最先进的加速器提升3倍，吞吐量提升约5.5倍。

ABSTRACT

Diffusion models have revolutionized generative AI, with their inherent capacity to generate highly realistic state-of-the-art synthetic data. However, these models employ an iterative denoising process over computationally intensive layers such as UNets and attention mechanisms. This results in high inference energy on conventional electronic platforms, and thus, there is an emerging need to accelerate these models in a sustainable manner. To address this challenge, we present a novel silicon photonics-based accelerator for diffusion models. Experimental evaluations demonstrate that our photonic accelerator achieves at least 3x better energy efficiency and 5.5x throughput improvement compared to state-of-the-art diffusion model accelerators.

研究动机与目标

• 由于扩散模型在生成性 AI 中的迭代去噪过程，需要推动可持续加速。
• 提出基于硅光子学的加速器，用以替代用于扩散模型推理的传统电子平台。
• 对所提出的加速器与最先进的扩散模型加速器进行比较，以量化能耗和吞吐量的提升。

提出的方法

• 引入一个为扩散模型推理量身定制的基于硅光子学的加速器。
• 解决扩散过程中的计算层次，包括 UNets 与注意力机制。
• 与最先进的加速器在能效和吞吐量方面进行对比，展示提升。
• 利用实验评估量化性能提升（能量与吞吐量）。

实验结果

研究问题

• RQ1 硅光子学是否能够有效加速扩散模型中的迭代去噪步骤？
• RQ2 与电子扩散模型加速器相比，光子加速器在能效和吞吐量方面的优势是什么？
• RQ3 提出的加速器如何处理扩散模型的核心组件，如 UNets 和注意力机制？
• RQ4 实验评估是否在实际工作负载中证明了所 claiming 的改进？

主要发现

• 光子加速器在能效方面至少比最先进的扩散模型加速器高出 3x。
• 光子加速器在吞吐量方面相对于最先进的扩散模型加速器提升约 5.5x。