[논문 리뷰] CapStore: Energy-Efficient Design and Management of the On-Chip Memory for CapsuleNet Inference Accelerators

Alberto Marchisio, Muhammad Abdullah Hanif외 2명|arXiv (Cornell University)|2019. 02. 04.

Advanced Neural Network Applications참고 문헌 14인용 수 6

한 줄 요약

이 논문은 캡슐넷 추론 가속기 전용으로 설계된 CapStore를 제안한다. CapStore는 응용 프로그램 인식 메모리 분할 및 섹터 수준의 전력 가로막기 기법을 통해 최대 86%의 에너지 소비 절감을 달성한다. 캡슐넷 레이어 간의 메모리 액세스 패턴을 분석함으로써 오프칩 메모리 액세스를 최소화하고 온칩 메모리 설계를 최적화함으로써 동적 및 정적 에너지를 크게 절감하면서도 높은 처리량을 유지한다.

ABSTRACT

Deep Neural Networks (DNNs) have been established as the state-of-the-art algorithm for advanced machine learning applications. Recently, CapsuleNets have improved the generalization ability, as compared to DNNs, due to their multi-dimensional capsules. However, they pose high computational and memory requirements, which makes energy-efficient inference a challenging task. In this paper, we perform an extensive analysis to demonstrate their key limitations due to intense memory accesses and large on-chip memory requirements. To enable efficient CaspuleNet inference accelerators, we propose a specialized on-chip memory hierarchy which minimizes the off-chip memory accesses, while efficiently feeding the data to the accelerator. We analyze the on-chip memory requirements for each memory component of the architecture. By leveraging this analysis, we propose a methodology to explore different on-chip memory designs and a power-gating technique to further reduce the energy consumption, depending upon the utilization across different operations of a CapsuleNet. Our memory designs can significantly reduce the energy consumption of the on-chip memory by up to 86%, when compared to a state-of-the-art memory design. Since the power consumption of the memory elements is the major contributor in the power breakdown of the CapsuleNet accelerator, as we will also show in our analyses, the proposed memory design can effectively reduce the overall energy consumption of the complete CapsuleNet accelerator architecture.

연구 동기 및 목표

• 캡슐넷 추론 가속기에서 온칩 및 오프칩 메모리의 높은 에너지 소비 문제를 해결하기 위해.
• 특히 PrimaryCaps 및 DigitCaps 레이어에서 발생하는 메모리 액세스 병목 현상을 규명하기 위해.
• 오프칩 메모리 액세스를 최소화하고 분할 및 전력 가로막기 기법을 통해 에너지 소비를 줄이는 전용 온칩 메모리 계층을 설계하기 위해.
• 캡슐넷용 온칩 메모리 아키텍처에서 면적, 대역폭, 에너지 효율성 간의 설계 공간 트레이드오프를 탐색하기 위해.
• 메모리 에너지가 총 가속기 에너지의 주요 부분을 차지하므로 메모리 최적화가 에너지 효율성 향상에 필수적임을 입증하기 위해.

제안 방법

• 모든 캡슐넷 추론 단계에서의 세밀한 메모리 액세스 및 크기 분석을 수행하여 고압력 메모리 영역을 규명하기 위해.
• 공간 수준의 전력 가로막기 기능을 갖춘 다중 베이크 온칩 메모리인 CapStore를 제안하기 위해.
• 시스템적 설계 공간 탐색을 위해 6종의 다양한 메모리 아키텍처(예: SEP, PG-SEP, SMP, HY)를 설계하기 위해.
• CACTI-P를 사용하여 다양한 메모리 구성에서의 면적 및 에너지 소비를 시뮬레이션 및 평가하기 위해.
• 수면 트anz이터를 사용한 전력 가로막기 전략을 구현하여 비활성 메모리 섹터를 비활성화함으로써 정적 전력을 감소시키기 위해.
• 실제 ASIC 흐름에서 에너지 및 면적 절감 효과를 검증하기 위해 32nm CMOS 공정 기반으로 전체 캡슐넷 가속기 회로를 합성하기 위해.

실험 결과

연구 질문

• RQ1 다양한 캡슐넷 레이어에서 지배적인 메모리 액세스 패턴과 에너지 소비 특성은 무엇인가?
• RQ2 캡슐넷 추론에서 오프칩 메모리 액세스를 최소화하기 위해 온칩 메모리 아키텍처는 어떻게 최적화될 수 있는가?
• RQ3 섹터 수준의 전력 가로막기가 캡슐넷용 온칩 메모리의 정적 에너지 절감에 미치는 영향은 무엇인가?
• RQ4 다양한 메모리 구성 전략(예: 싱글포트 대 다중포트)이 면적과 에너지 효율성에 미치는 영향은 어떠한가?
• RQ5 응용 프로그램 특화 메모리 설계는 캡슐넷 가속기의 총 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• 온칩 및 오프칩 메모리가 캡슐넷 가속기에서 총 에너지 소비의 96%를 차지하며, 이는 메모리가 주요 에너지 병목 현상임을 의미한다.
• CapStore의 PG-SEP 아키텍처는 최신 기술 대비 온칩 메모리 에너지를 최대 86%까지 감소시키며, 주로 효과적인 전력 가로막기 기법 덕분이다.
• 전력 가로막기로 인한 웨이크업 에너지 오버헤드는 극히 미미하며, 이는 메모리 상태 전환이 활성 계산 중이 아닌 작업 간 전환 시에만 발생하기 때문이다.
• 완전한 캡슐넷 가속기는 기준 설계 대비 CapStore를 사용할 경우 총 에너지 소비를 46% 감소시키고 면적을 25% 줄였다.
• PrimaryCaps 레이어는 높은 메모리 집약성과 거의 일관된 사용률로 인해 가장 높은 메모리 에너지를 소비하므로 전력 가로막기가 이곳에선 효과적이지 않다.
• 싱글포트 메모리 구성(예: SEP, PG-SEP)은 다중포트 공유 설계 대비 더 높은 면적 및 에너지 효율성을 보이며, 이는 상호연결 오버헤드가 감소하기 때문이다.