[论文解读] Accelerating Fully Connected Neural Network on Optical Network-on-Chip (ONoC)

Fei Dai, Yawen Chen+2 more|arXiv (Cornell University)|Sep 30, 2021

Photonic and Optical Devices参考文献 40被引用 4

一句话总结

本文提出一种细粒度并行计算模型，通过优化前向传播和反向传播阶段的核心分配，在光网络芯片（ONoC）上加速全连接神经网络（FCNN）训练。该模型推导出各阶段最优核心数量以最小化训练时间，并评估了三种映射策略，结果表明在批量大小为64时，相比ENoC，训练时间最多减少22.28%，能耗降低47.85%。

ABSTRACT

Fully Connected Neural Network (FCNN) is a class of Artificial Neural Networks widely used in computer science and engineering, whereas the training process can take a long time with large datasets in existing many-core systems. Optical Network-on-Chip (ONoC), an emerging chip-scale optical interconnection technology, has great potential to accelerate the training of FCNN with low transmission delay, low power consumption, and high throughput. However, existing methods based on Electrical Network-on-Chip (ENoC) cannot fit in ONoC because of the unique properties of ONoC. In this paper, we propose a fine-grained parallel computing model for accelerating FCNN training on ONoC and derive the optimal number of cores for each execution stage with the objective of minimizing the total amount of time to complete one epoch of FCNN training. To allocate the optimal number of cores for each execution stage, we present three mapping strategies and compare their advantages and disadvantages in terms of hotspot level, memory requirement, and state transitions. Simulation results show that the average prediction error for the optimal number of cores in NN benchmarks is within 2.3%. We further carry out extensive simulations which demonstrate that FCNN training time can be reduced by 22.28% and 4.91% on average using our proposed scheme, compared with traditional parallel computing methods that either allocate a fixed number of cores or allocate as many cores as possible, respectively. Compared with ENoC, simulation results show that under batch sizes of 64 and 128, on average ONoC can achieve 21.02% and 12.95% on reducing training time with 47.85% and 39.27% on saving energy, respectively.

研究动机与目标

• 利用ONoC的低延迟、高带宽光互连特性，解决多核系统中FCNN训练的通信瓶颈问题。
• 提出一种细粒度并行计算模型，实现ONoC上FCNN训练中计算与通信的平衡。
• 推导出前向传播和反向传播各执行阶段的最优核心数量，以最小化总训练时间。
• 提出并评估三种核心映射策略（FM、RRM、ORRM），综合考虑热点程度、内存需求和状态转换。
• 展示相较于传统基于ENoC的并行计算方法，显著提升性能与能效。

提出的方法

• 提出一种细粒度并行计算模型，刻画ONoC上FCNN训练的计算与通信成本，支持计算与通信之间的权衡分析。
• 基于延迟与带宽模型，推导出前向传播与反向传播阶段最优核心数量的解析表达式，以最小化总训练时间。
• 设计三种核心映射策略：固定映射（FM）、行复用映射（RRM）与优化行复用映射（ORRM），每种策略在热点程度、内存使用与状态转换方面具有不同的权衡。
• 采用波分复用（WDM）技术，实现在波导中同时进行多波长光通信，充分发挥ONoC的高带宽与低延迟优势。
• 基于SRAM中分布式存储神经网络参数（权重与部分和），建立每核心的内存需求模型。
• 使用神经网络基准进行大量仿真，验证核心分配预测的准确性，并与固定核心数及完全并行化的ENoC方法进行性能对比。

实验结果

研究问题

• RQ1 在ONoC上进行FCNN训练时，为最小化总训练时间，前向传播与反向传播各阶段所需的最优核心数量是多少？
• RQ2 不同核心映射策略（FM、RRM、ORRM）在热点程度、内存需求与状态转换方面有何差异？
• RQ3 所提出的模型能否在多种神经网络基准上以低误差准确预测最优核心分配？
• RQ4 在不同批量大小与核心数量下，ONoC相较于ENoC在多大程度上可减少FCNN训练时间与能耗？

主要发现

• 在各类神经网络基准上，最优核心数量的平均预测误差控制在2.3%以内，验证了所提解析模型的准确性。
• 与传统固定核心数分配方法相比，该方法平均减少22.28%的FCNN训练时间。
• 与尽可能分配最多核心的方法相比，该方法平均减少4.91%的训练时间。
• 与ENoC相比，ONoC在批量大小为64和128时，分别实现21.02%和12.95%的训练时间减少。
• 与ENoC相比，ONoC在批量大小为64和128时，平均能耗分别降低47.85%和39.27%。
• ORRM映射策略在热点程度、内存使用与状态转换之间实现最佳平衡，整体效率优于FM与RRM。