[논문 리뷰] Neural Network-Hardware Co-design for Scalable RRAM-based BNN Accelerators

Yulhwa Kim, Hyungjun Kim외 1명|arXiv (Cornell University)|2018. 11. 06.

Advanced Neural Network Applications참고 문헌 13인용 수 15

한 줄 요약

이 논문은 입력을 분할하고 BNN을 재학습하여 각 RRAM 어레이당 1비트 출력을 계산하도록 하여 스케일러블한 1비트 아날로그-디지털 인터페이스를 갖춘 RRAM 기반 BNN 가속기 구현을 가능하게 하는 신경망-하드웨어 공동 설계 프레임워크를 제안한다. 이 방법은 고해상도 ADC를 완전히 제거하며, CIFAR-10에서 <1.1%의 정확도 손실을 기록하고, 4비트 ADC를 사용하는 이전 연구 대비 최대 93.3%의 전력 소모 감소를 달성한다.

ABSTRACT

Recently, RRAM-based Binary Neural Network (BNN) hardware has been gaining interests as it requires 1-bit sense-amp only and eliminates the need for high-resolution ADC and DAC. However, RRAM-based BNN hardware still requires high-resolution ADC for partial sum calculation to implement large-scale neural network using multiple memory arrays. We propose a neural network-hardware co-design approach to split input to fit each split network on a RRAM array so that the reconstructed BNNs calculate 1-bit output neuron in each array. As a result, ADC can be completely eliminated from the design even for large-scale neural network. Simulation results show that the proposed network reconstruction and retraining recovers the inference accuracy of the original BNN. The accuracy loss of the proposed scheme in the CIFAR-10 testcase was less than 1.1% compared to the original network. The code for training and running proposed BNN models is available at: https://github.com/YulhwaKim/RRAMScalable_BNN.

연구 동기 및 목표

• 대규모 네트워크에서 부분합 계산을 위해 고해상도 ADC가 필요로 하는 RRAM 기반 BNN 가속기의 스케일러비리티 및 전력 비효율성 문제를 해결한다.
• 일반적으로 약 ~1,000행 이내의 행 수만 지원하는 RRAM 어레이의 한계를 극복하여, 대규모 입력 차원에 대해 전체 1비트 SA 동작을 구현할 수 없도록 하는 문제를 해결한다.
• 각 RRAM 어레이에 1비트 센스 앰프를 사용할 수 있도록 하기 위해, BNN을 재구성하고 재학습하여 각 어레이당 1비트 출력을 계산하도록 한다.
• 정확도 손실 없이 인프런스 정확도를 유지하면서도 전력 효율성과 하드웨어 스케일러비리를 달성한다. 특히 CIFAR-10에서 복잡한 모델인 CNN에 대해서도 가능하다.

제안 방법

• BNN의 입력 특징을 여러 파artition으로 나누어 각 파artition이 단일 RRAM 어레이의 행 용량에 맞도록 한다.
• 각 입력 파artition을 별도의 서브넷으로 매핑하여, 각각의 RRAM 어레이에서 독립적으로 1비트 출력 뉴런을 계산하도록 BNN 아키텍처를 재구성한다.
• 원래 네트워크의 기능적 동작을 유지하면서도, 시냅스 가중치와 활성화를 RRAM 어레이에 할당하기 위한 파rameter 매핑을 적용한다.
• 입력 분할 및 파rameter 매핑 과정에서 발생한 정확도 손실을 복구하기 위해 재구성된 BNN을 미세조정(fine-tuning) 절차를 통해 재학습한다.
• 전력 소모를 비교하기 위해 플래시 ADC 전력 스케일링 모델(P ∝ α₂(2^N − 1))을 기반으로 한 전력 추정 모델을 사용한다.
• 각 어레이의 1비트 SA 기능을 활용하여, 대규모 네트워크일지라도 고해상도 ADC의 필요성을 완전히 제거한다.

실험 결과

연구 질문

• RQ1 입력 분할 및 BNN 재학습을 통해 각 RRAM 어레이당 1비트 출력 계산이 가능해지며, 이는 대규모 BNN에서 고해상도 ADC의 필요성을 제거할 수 있는가?
• RQ2 1비트 ADC만을 사용할 경우, 제안된 공동 설계된 BNN의 정확도는 원본 BNN 대비 얼마나 떨어지는가?
• RQ3 제안된 RRAM 기반 BNN 가속기의 전력 소모는 3비트 또는 4비트 ADC를 사용하는 이전 연구 대비 어떻게 비교되는가?
• RQ4 입력 분할 및 파rameter 매핑 이후 대규모 BNN(예: CIFAR-10에서의 CNN)에서 재학습이 얼마나 정확도를 복구하는가?
• RQ5 제안된 방법은 RRAM 기반 BNN 가속기의 이점을 유지할 수 있는가? 예를 들어 1비트 SA 및 내장형 계산 기능을 유지하면서도 대규모 네트워크로 확장 가능한가?

주요 결과

• 제안된 방법은 입력 분할 및 재학습 후에도 CIFAR-10 데이터셋에서 원본 BNN 대비 1.1% 미만의 정확도 손실을 기록한다.
• MNIST MLP의 경우, 파rameter 매핑만으로도 재구성된 BNN과 기준 BNN 간의 정확도 차이를 0.5% 이내로 유지하였으며, 재학습을 통해 추가로 개선되었다.
• 제안된 1비트 ADC 설계의 전력 소모는 BCNN-RRAM(4비트 ADC 사용) 대비 93.3% 감소했고, XNOR-RRAM(3비트 ADC 사용) 대비 85.7% 감소했다.
• 고해상도 ADC의 제거 덕분에 제안된 가속기의 총 전력 소모는 BCNN-RRAM 대비 60.7% 낮고, XNOR-RRAM 대비 39.9% 낮았다.
• 이 방법은 각 RRAM 어레이의 1비트 센스 앰프를 완전히 활용할 수 있도록 하여, RRAM 기반 BNN 가속기의 에너지 효율성과 스케일러비리를 유지한다.
• 재구성 및 재학습 과정이 성공적으로 어레이당 1비트 출력 계산을 유지하였으며, 이는 대규모 네트워크에서도 ADC를 완전히 제거할 수 있도록 했다.