[논문 리뷰] A Bi-Directional Co-Design Approach to Enable Deep Learning on IoT Devices

Xiaofan Zhang, Cong Hao외 5명|arXiv (Cornell University)|2019. 05. 20.

Advanced Neural Network Applications참고 문헌 10인용 수 10

한 줄 요약

이 논문은 하향식 가속기 탐색과 함께 상향식 DNN 설계를 통합한 이중 방향 공동 설계 프레임워크를 제안하며, 자원이 제한된 IoT 기기에서 딥 뉴럴 네트워크(DNN) 모델과 FPGA 가속기를 공동 최적화한다. Pynq-Z1 FPGA에서 29.7 FPS와 12.38 image/watt의 에너지 효율성을 달성하여 DAC'18 경연 대회에서의 FPGA 및 GPU 冠 军 성능을 모두 초월하는 정확도, 처리량, 에너지 효율성에서 최고 수준의 성능을 기록한다.

ABSTRACT

Developing deep learning models for resource-constrained Internet-of-Things (IoT) devices is challenging, as it is difficult to achieve both good quality of results (QoR), such as DNN model inference accuracy, and quality of service (QoS), such as inference latency, throughput, and power consumption. Existing approaches typically separate the DNN model development step from its deployment on IoT devices, resulting in suboptimal solutions. In this paper, we first introduce a few interesting but counterintuitive observations about such a separate design approach, and empirically show why it may lead to suboptimal designs. Motivated by these observations, we then propose a novel and practical bi-directional co-design approach: a bottom-up DNN model design strategy together with a top-down flow for DNN accelerator design. It enables a joint optimization of both DNN models and their deployment configurations on IoT devices as represented as FPGAs. We demonstrate the effectiveness of the proposed co-design approach on a real-life object detection application using Pynq-Z1 embedded FPGA. Our method obtains the state-of-the-art results on both QoR with high accuracy (IoU) and QoS with high throughput (FPS) and high energy efficiency.

연구 동기 및 목표

• 자원이 제한된 IoT 기기에서 DNN 배포 시 결과 품질(QoR)과 서비스 품질(QoS) 간의 최적화되지 않은 상호 양육적 관계를 해결하기 위해.
• 기존의 별도로 DNN와 가속기 설계를 수행하는 방식이 하드웨어-소프트웨어 구성이 맞지 않아 종종 QoS 또는 QoR가 열 劣하는 한계를 밝혀내기 위해.
• 하드웨어 인식 DNN 탐색과 조기 QoS 추정을 통합하여 DNN 모델과 가속기를 공동 최적화할 수 있는 공동 설계 플로우를 제안하기 위해.
• 반복적이고 독립적인 최적화보다 동시에 DNN과 가속기를 공동 설계하는 것이 더 뛰어난 성능을 낼 수 있음을 입증하기 위해.
• 객체 검출을 위한 실세계 임베디드 FPGA 플랫폼인 Pynq-Z1에서 높은 추론 정확도, 처리량, 에너지 효율성을 달성하기 위해.

제안 방법

• 이 방법은 하향식 DNN 설계 전략을 사용하여, 하드웨어 성능 예측 기반으로 선택된 재사용 가능한 레이어 번들의 조합(예: DW-Conv3, PW-Conv1, max-pooling)으로 DNN를 구성한다.
• 설계 초기 단계에서 QoS(지연, 자원 사용량)를 추정하기 위해 분석 모델을 활용하여, 전체 학습 이전에 하드웨어 특성을 신속하게 평가할 수 있도록 한다.
• 우수한 번들을 식별하기 위한 이중 단계 선택 과정을 적용한다: 첫 번째로 프로토타입에서 빠른 학습(20 에포크)을 통해 QoR 잠재력을 평가하고, 두 번째로 목표 제약 조건과의 QoS 일치성을 검토한다.
• 스토캐스틱 좌표 강하(Stochastic Coordinate Descent, SCD) 알고리즘을 사용하여 QoS 및 QoR 제약 조건 하에서 DNN 구성 탐색을 수행하며, 정밀한 QoS 평가 피드백에 기반해 반복적으로 모델을 개선한다.
• 자원 공유를 극대화하고 소형 FPGA에서 효율적인 계산을 지원하기 위해 하이브리드로 접히고 펼쳐진 타일 기반 파ip라인 아키텍처를 사용한 가속기 설계를 제안한다.
• 모델 정밀도와 하드웨어 효율성의 균형을 맞추기 위해 번들의 전역적으로 정밀도 조정 기법(예: W16/F8, W11/F8)을 체계적으로 탐색한다.

실험 결과

연구 질문

• RQ1 왜 DNN 모델 설계와 하드웨어 가속기 설계를 별도로 수행할 경우 IoT 배포 환경에서 QoR와 QoS가 최적화되지 않는가?
• RQ2 다른 압축 전략(예: 가중치 vs. 특징 맵 정밀도 감소)이 추론 정확도와 하드웨어 자원 사용에 어떻게 다른 영향을 미치는가?
• RQ3 DNN 탐색 과정에서 조기 하드웨어 인식 QoS 추정이 정확도와 효율성 간의 균형을 향상시키는 데 기여하는가?
• RQ4 데이터 정밀도(비트 폭)가 DNN 가속기의 FPGA 자원 사용량(예: BRAM, DSP)에 어떤 영향을 미치는가?
• RQ5 실제 임베디드 FPGA 플랫폼에서 공동 설계 접근법이 정확도와 에너지 효율성 측면에서 최고 수준의 솔루션을 초월할 수 있는가?

주요 결과

• 제안된 DNN-A는 Pynq-Z1 FPGA에서 29.7 FPS와 12.38 image/watt의 에너지 효율성을 달성하여, FPGA 冠 军 설계보다 처리량과 에너지 효율성에서 모두 뛰어난 성능을 기록하였다.
• DNN-C는 IoU 68.6%를 달성하였으며, FPGA 冠 军 대비 1.45배 높은 FPS와 2.4배 높은 에너지 효율성을 확보하였고, 정확도는 유사한 수준이었음에도 불구하고 GPU 冠 军의 효율성까지 초월하였다.
• 공동 설계를 통한 정밀도 조정과 하드웨어 매핑으로 인해 특징 맵 압축 시 정확도 손실이 기존 9.8%에서 1% 이하로 감소하여, 압축에 대한 강인성이 향상됨을 입증하였다.
• 소수의 데이터 정밀도 변화만으로도 하드웨어 자원 사용량(BRAM 및 DSP 등)이 크게 변동함을 확인하여, 비효율적 구성 방지를 위해 공동 설계의 필요성을 강조하였다.
• 공동 설계 접근법을 통해 특징 맵 크기를 16배 감소시키면서도 정확도 손실은 4.8%로 유지하였고, 높은 처리량과 낮은 전력 소비를 유지는 데 성공하였다.
• 번들 기반 탐색을 통해 목표 객체 검출 작업에 있어 가장 효과적인 구성 요소로 DW-Conv3, PW-Conv1, 및 max-pooling을 식별하였다.