[논문 리뷰] 2L-3W: 2-Level 3-Way Hardware-Software Co-Verification for the Mapping of Deep Learning Architecture (DLA) onto FPGA Boards

Tolulope A. Odetola, Katie M. Groves외 1명|arXiv (Cornell University)|2019. 11. 14.

VLSI and Analog Circuit Testing참고 문헌 26인용 수 6

한 줄 요약

이 논문은 딥러닝 아키텍처(DLA)를 FPGA 보드에 매핑하기 위한 새로운 2L-3W(2레벨 3웨이) 하드웨are-소프트웨어 공동검증 방법론을 제안한다. 이 방법론은 소프트웨어(Caffe), 고수준 합성(Vivado HLS), 하드웨어(PYNQ FPGA) 간의 계층별 교차범주 검증을 가능하게 하며, 자동화된 파이썬 기반 유사도 스코어링을 통해 설계 단계에서 99%의 계층별 유사도를 달성하고, 매핑 문제를 조기에 식별한다. 결과적으로 DLA의 FPGA 배포에서 높은 정밀도와 디버깅 가능성 확보를 확인하였다.

ABSTRACT

FPGAs have become a popular choice for deploying deep learning architectures (DLA). There are many researchers that have explored the deployment and mapping of DLA on FPGA. However, there has been a growing need to do design-time hardware-software co-verification of these deployments. To the best of our knowledge this is the first work that proposes a 2-Level 3-Way (2L-3W) hardware-software co-verification methodology and provides a step-by-step guide for the successful mapping, deployment and verification of DLA on FPGA boards. The 2-Level verification is to make sure the implementation in each stage (software and hardware) are following the desired behavior. The 3-Way co-verification provides a cross-paradigm (software, design and hardware) layer-by-layer parameter check to assure the correct implementation and mapping of the DLA onto FPGA boards. The proposed 2L-3W co-verification methodology has been evaluated over several test cases. In each case, the prediction and layer-by-layer output of the DLA deployed on PYNQ FPGA board (hardware) alongside with the intermediate design results of the layer-by-layer output of the DLA implemented on Vivado HLS and the prediction and layer-by-layer output of the software level (Caffe deep learning framework) are compared to obtain a layer-by-layer similarity score. The comparison is achieved using a completely automated Python script. The comparison provides a layer-by-layer similarity score that informs us the degree of success of the DLA mapping to the FPGA or help identify in design time the layer to be debugged in the case of unsuccessful mapping. We demonstrated our technique on LeNet DLA and Caffe inspired Cifar-10 DLA and the co-verification results yielded layer-by-layer similarity scores of 99\% accuracy.

연구 동기 및 목표

• 딥러닝 아키텍처(DLA)를 FPGA에 매핑할 때 소프트웨어, 하드웨어 설계, 배포된 하드웨어 간 계층별 정확성에 대한 포괄적인 설계 시점 검증의 부족을 해결하기 위해.
• DLA에서 FPGA로의 매핑 과정 중 구현 오류를 조기에 탐지할 수 있는 체계적인 방법론을 개발하기 위해.
• 모든 범주 간 디버깅을 지원하고 최종 배포 이전에 기능 정확성을 보장하는 확장 가능하고 자동화된 검증 프레임워크를 제공하기 위해.
• 소프트웨어, HLS 설계, FPGA 하드웨어 구현 간 계층별 일관성을 정량화하기 위한 새로운 유사도 스코어 메트릭을 도입하기 위해.

제안 방법

• 2L-3W 방법론은 두 수준의 검증을 수행한다: (1) DLA 추론에 대한 소프트웨어 수준 검증, (2) HLS로 생성된 RTL 설계에 대한 하드웨어 수준 검증.
• Caffe(소프트웨어), Vivado HLS(설계), PYNQ FPGA(하드웨어)의 세 범주 간 계층별 출력을 비교함으로써 3웨이 공동검증을 구현한다.
• 자동화된 파이썬 스크립트를 사용하여 세 플랫폼 간 해당 출력 간의 계층별 유사도 스코어를 계산하며, 평균 제곱오차 또는 정규화 상관관계를 사용한다.
• 특정 계층의 유사도 스코어가 낮은 경우를 식별함으로써 점진적 디버깅을 지원하며, 이는 대상 조정을 가능하게 한다.
• Caffe를 소프트웨어 시뮬레이션, Vivado HLS를 고수준 합성, PYNQ FPGA를 하드웨어 배포를 위해 사용하여 LeNet과 Caffe 기반 Cifar-10 DLA에 프레임워크를 적용하였다.
• 유사도 스코어는 계층별로 계산되어 매핑 파이프라인 중 정확성 평가 및 최적화 유도를 위한 정량적 메트릭으로 사용된다.

실험 결과

연구 질문

• RQ1 2레벨 3웨이 공동검증 프레임워크는 소프트웨어, 하드웨어 설계, 배포된 FPGA 플랫폼 간 DLA 매핑의 기능 정확성을 효과적으로 검증할 수 있는가?
• RQ2 Caffe, HLS, FPGA에서 유도된 계층별 출력을 얼마나 정확하게 정렬하여 FPGA에 배포할 때의 구현 이질성을 탐지할 수 있는가?
• RQ3 제안된 유사도 스코어 메트릭은 DLA 매핑 파이프라인에서 오류의 조기에 탐지 및 국소화에 얼마나 기여하는가?
• RQ4 매번 계층의 출력을 수동으로 점검할 필요 없이도 이 방법론은 확장 가능하고 자동화된 검증을 지원할 수 있는가?
• RQ5 FPGA 배포 시 비트너비 단순화가 계층별 출력 정밀도에 어떤 영향을 미치며, 이 영향을 프레임워크는 어떻게 정량화할 수 있는가?

주요 결과

• 2L-3W 공동검증 방법론은 LeNet과 Caffe 기반 Cifar-10 DLA에 대해 Caffe 소프트웨어 구현과 Vivado HLS 설계 간 계층별 유사도 스코어 99%를 달성하였다.
• FPGA 배포 단계에서는 자원 제약로 인한 비트너비 감소로 인해 유사도 스코어가 65%에서 84% 사이로 변동하였으며, 이는 정확도와 하드웨어 효율성 간의 상충 관계를 시사한다.
• 낮은 유사도 스코어를 가진 계층을 성공적으로 식별하여 설계 단계에서 대상 조정 및 디버깅을 가능하게 하였다.
• 제안된 유사도 스코어 메트릭은 설계 정확성의 정량화 및 매핑 파이프라인 전반에서의 최적화 유도에 효과적이었다.
• 이전 연구들과 달리 이 방법론은 소프트웨어, 설계, 하드웨어의 세 범주 간 전체 계층별 공동검증을 가능하게 하여, 이전 방법론이 최종 예측 또는 소프트웨어 전용 검증에 국한된 것과 대비된다.
• 이 연구는 자동화된 교차범주 검증이 FPGA에 DLA를 신뢰성 있게 배포하기 위해 실현 가능하고 필수적임을 입증하였으며, 배포 후 디버깅을 줄이고 설계 신뢰도를 향상시킨다.