[논문 리뷰] Accelerating Fully Connected Neural Network on Optical Network-on-Chip (ONoC)

Fei Dai, Yawen Chen외 2명|arXiv (Cornell University)|2021. 09. 30.

Photonic and Optical Devices참고 문헌 40인용 수 4

한 줄 요약

이 논문은 완전히 연결된 신경망(Fully Connected Neural Network, FCNN) 학습을 광학 네트워크온칩(Optical Network-on-Chip, ONoC)에서 가속화하기 위해 전방 전파 및 역전파 단계 동안의 코어 할당을 최적화하는 세밀한 병렬 계산 모델을 제안한다. 총 학습 시간을 최소화하기 위해 각 단계당 최적의 코어 수를 유도하고, 세 가지 매핑 전략을 평가하여 배치 크기 64일 때 기존 ENoC 대비 최대 22.28% 감소한 학습 시간과 47.85% 감소한 에너지 소비를 입증한다.

ABSTRACT

Fully Connected Neural Network (FCNN) is a class of Artificial Neural Networks widely used in computer science and engineering, whereas the training process can take a long time with large datasets in existing many-core systems. Optical Network-on-Chip (ONoC), an emerging chip-scale optical interconnection technology, has great potential to accelerate the training of FCNN with low transmission delay, low power consumption, and high throughput. However, existing methods based on Electrical Network-on-Chip (ENoC) cannot fit in ONoC because of the unique properties of ONoC. In this paper, we propose a fine-grained parallel computing model for accelerating FCNN training on ONoC and derive the optimal number of cores for each execution stage with the objective of minimizing the total amount of time to complete one epoch of FCNN training. To allocate the optimal number of cores for each execution stage, we present three mapping strategies and compare their advantages and disadvantages in terms of hotspot level, memory requirement, and state transitions. Simulation results show that the average prediction error for the optimal number of cores in NN benchmarks is within 2.3%. We further carry out extensive simulations which demonstrate that FCNN training time can be reduced by 22.28% and 4.91% on average using our proposed scheme, compared with traditional parallel computing methods that either allocate a fixed number of cores or allocate as many cores as possible, respectively. Compared with ENoC, simulation results show that under batch sizes of 64 and 128, on average ONoC can achieve 21.02% and 12.95% on reducing training time with 47.85% and 39.27% on saving energy, respectively.

연구 동기 및 목표

• 다핵 시스템에서 FCNN 학습의 통신 병목 현상을 해결하기 위해 광학 인터커넥트를 활용한 저지연, 고대역폭 ONoC의 특성을 활용한다.
• FCNN 학습을 위한 ONoC에서 계산과 통신의 균형을 이루는 세밀한 병렬 계산 모델을 개발한다.
• 총 학습 시간을 최소화하기 위해 전방 전파 및 역전파 단계 각각에 대한 최적의 코어 수를 유도한다.
• 핫스팟 수준, 메모리 요구량, 상태 전이를 고려한 세 가지 코어 매핑 전략(FM, RRM, ORRM)을 제안하고 평가한다.
• 기존의 ENoC 기반 병렬 계산 방법에 비해 뚜렷한 성능 및 에너지 효율성 향상을 입증한다.

제안 방법

• FCNN 학습에서의 계산 및 통신 비용을 특성화하는 세밀한 병렬 계산 모델을 제안하여 계산과 통신 간의 트레이드오프 분석을 가능하게 한다.
• 지연 및 대역폭 모델 기반으로 총 학습 시간을 최소화하기 위한 전방 전파 및 역전파 단계의 최적 코어 수에 대한 해석적 표현을 유도한다.
• 고정 매핑(Fixed Mapping, FM), 행 재사용 매핑(Row-Reuse Mapping, RRM), 최적화된 행 재사용 매핑(Optimized Row-Reuse Mapping, ORRM)의 세 가지 코어 매핑 전략을 설계하며, 각 전략은 핫스팟, 메모리 사용량, 상태 전이 간의 상이한 트레이드오프를 가진다.
• 파장 분할 multiplexing(Wavelength Division Multiplexing, WDM)을 활용하여 파이프라인 내 다중 파장 광통신을 동시에 구현함으로써 ONoC의 고대역폭 및 저지연 특성을 극대화한다.
• SRAM에 분산 저장된 신경망 파rameter(가중치 및 부분합) 기반으로 각 코어의 메모리 요구량을 모델링한다.
• NN 벤치마크를 활용한 광범위한 시뮬레이션을 수행하여 코어 할당 예측의 정확성을 검증하고, 고정 코어 및 완전 병렬화된 ENoC 기반 방법과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 FCNN 학습에서 ONoC에서 총 학습 시간을 최소화하기 위해 전방 전파 및 역전파 단계 각각에 필요한 최적의 코어 수는 얼마인가?
• RQ2 다양한 코어 매핑 전략(FM, RRM, ORRM)은 핫스팟 수준, 메모리 요구량, 상태 전이 측면에서 어떻게 상호 비교되는가?
• RQ3 제안된 모델은 다양한 신경망 벤치마크에서 최적의 코어 할당을 낮은 오차로 정확하게 예측할 수 있는가?
• RQ4 다양한 배치 크기와 코어 수 조건에서 ONoC는 기존 ENoC 대비 FCNN 학습 시간과 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• 신경망 벤치마크 전반에 걸쳐 최적의 코어 수 예측 오차 평균이 2.3% 이내에 머물러 제안된 해석적 모델의 정확성을 검증한다.
• 기존의 고정된 코어 할당 방식에 비해 제안된 방법은 평균 22.28% 감소한 FCNN 학습 시간을 달성한다.
• 최대 코어 할당 방식에 비해 평균 4.91% 감소한 학습 시간을 기록한다.
• 배치 크기 64 및 128일 때 각각 ONoC는 ENoC 대비 21.02% 및 12.95% 감소한 학습 시간을 기록한다.
• 배치 크기 64 및 128일 때 각각 ONoC는 ENoC 대비 평균 47.85% 및 39.27% 감소한 에너지 소비를 기록한다.
• ORRM 매핑 전략은 핫스팟 수준, 메모리 사용량, 상태 전이 간의 균형을 가장 잘 유지하여 FM 및 RRM에 비해 종합적인 효율성이 뛰어나다.