[论文解读] CapStore: Energy-Efficient Design and Management of the On-Chip Memory for CapsuleNet Inference Accelerators

Alberto Marchisio, Muhammad Abdullah Hanif+2 more|arXiv (Cornell University)|Feb 4, 2019

Advanced Neural Network Applications参考文献 14被引用 6

一句话总结

本文提出CapStore，一种专用于胶囊网络推理加速器的片上内存层次结构，通过应用感知的内存分区和扇区级电源门控技术，将能耗降低高达86%。通过分析胶囊网络各层的内存访问模式，CapStore有效减少了对外部内存的访问次数，并优化了片上内存设计，显著降低了动态与静态能耗，同时保持了高吞吐量。

ABSTRACT

Deep Neural Networks (DNNs) have been established as the state-of-the-art algorithm for advanced machine learning applications. Recently, CapsuleNets have improved the generalization ability, as compared to DNNs, due to their multi-dimensional capsules. However, they pose high computational and memory requirements, which makes energy-efficient inference a challenging task. In this paper, we perform an extensive analysis to demonstrate their key limitations due to intense memory accesses and large on-chip memory requirements. To enable efficient CaspuleNet inference accelerators, we propose a specialized on-chip memory hierarchy which minimizes the off-chip memory accesses, while efficiently feeding the data to the accelerator. We analyze the on-chip memory requirements for each memory component of the architecture. By leveraging this analysis, we propose a methodology to explore different on-chip memory designs and a power-gating technique to further reduce the energy consumption, depending upon the utilization across different operations of a CapsuleNet. Our memory designs can significantly reduce the energy consumption of the on-chip memory by up to 86%, when compared to a state-of-the-art memory design. Since the power consumption of the memory elements is the major contributor in the power breakdown of the CapsuleNet accelerator, as we will also show in our analyses, the proposed memory design can effectively reduce the overall energy consumption of the complete CapsuleNet accelerator architecture.

研究动机与目标

• 解决胶囊网络推理加速器中片上与片外内存的高能耗问题。
• 识别胶囊网络运算中的内存访问瓶颈，特别是PrimaryCaps和DigitCaps层中的瓶颈。
• 设计一种专用的片上内存层次结构，通过分区与电源门控技术，最小化对外部内存的访问并降低能耗。
• 探索片上内存架构中面积、带宽与能效之间在设计空间中的权衡。
• 证明内存能耗占总加速器能耗的主导地位，凸显内存优化对能效提升的关键作用。

提出的方法

• 对胶囊网络推理全过程中的内存访问与存储大小进行详细分析，识别出高内存压力的热点区域。
• 提出CapStore，一种具备扇区级电源门控的多 banks 片上内存，以在空闲期间降低漏电能耗。
• 设计六种不同的内存架构（如SEP、PG-SEP、SMP、HY）以系统性地探索设计空间。
• 使用CACTI-P对不同内存配置下的面积与能耗进行仿真与评估。
• 实施一种带有睡眠晶体管的电源门控策略，以禁用不活跃的内存扇区，从而降低静态功耗。
• 在32nm CMOS工艺下对完整的胶囊网络加速器进行综合，以在真实ASIC流程中验证能耗与面积的节省。

实验结果

研究问题

• RQ1 不同胶囊网络层中的主导内存访问模式与能耗特性是什么？
• RQ2 如何优化片上内存架构以最小化胶囊网络推理中的对外部内存访问？
• RQ3 在片上内存中实施扇区级电源门控对降低静态能耗有何影响？
• RQ4 不同内存组织策略（如单端口与多端口）如何影响面积与能效？
• RQ5 应用特定的内存设计能在多大程度上降低胶囊网络加速器的总能耗？

主要发现

• 片上与片外内存共同占胶囊网络加速器总能耗的96%，是主要的能耗瓶颈。
• CapStore的PG-SEP架构相比最先进的设计，将片上内存能耗降低高达86%，主要得益于高效的电源门控技术。
• 由于电源门控仅在操作之间发生状态切换，而非在计算过程中，因此唤醒能耗开销可忽略不计。
• 与基线设计相比，采用CapStore的完整胶囊网络加速器实现了46%的总能耗降低和25%的面积减少。
• 由于PrimaryCaps层内存强度高且利用率接近恒定，导致电源门控在此处效果有限。
• 单端口内存组织（如SEP、PG-SEP）相比共享多端口设计更具面积与能耗效率，因其互连开销更低。