[논문 리뷰] SkyNet: A Champion Model for DAC-SDC on Low Power Object Detection

Xiaofan Zhang, Cong Hao외 10명|arXiv (Cornell University)|2019. 06. 25.

Advanced Neural Network Applications참고 문헌 10인용 수 20

한 줄 요약

SkyNet은 12개의 합성곱 레이어와 단지 1.82 MB의 파라미터를 가진 경량이며 하향식 설계 기반의 딥 네ural 네트워크로, 저전력 엣지 추론을 최적화하였다. 하드웨어 인지 설계, 특징 맵 빗방울링, ReLU6, 효율성 및 정확도 향상을 위한 재정렬을 통합함으로써 DAC-SDC 2019 경쟁에서 GPU(0.731 IoU, 67.33 FPS) 및 FPGA(0.716 IoU, 25.05 FPS) 플랫폼에서 모두 1위를 차지하여 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Developing artificial intelligence (AI) at the edge is always challenging, since edge devices have limited computation capability and memory resources but need to meet demanding requirements, such as real-time processing, high throughput performance, and high inference accuracy. To overcome these challenges, we propose SkyNet, an extremely lightweight DNN with 12 convolutional (Conv) layers and only 1.82 megabyte (MB) of parameters following a bottom-up DNN design approach. SkyNet is demonstrated in the 56th IEEE/ACM Design Automation Conference System Design Contest (DAC-SDC), a low power object detection challenge in images captured by unmanned aerial vehicles (UAVs). SkyNet won the first place award for both the GPU and FPGA tracks of the contest: we deliver 0.731 Intersection over Union (IoU) and 67.33 frames per second (FPS) on a TX2 GPU and deliver 0.716 IoU and 25.05 FPS on an Ultra96 FPGA.

연구 동기 및 목표

• 실시간 객체 탐지에 있어 자원 제약이 있는 엣지 디바이스에서 높은 추론 정확도와 효율성을 달성하는 데 도전하기 위해.
• 기존의 큰 모델을 압축하는 데 의존하는 상향식 DNN 설계 접근 방식의 한계를 극복하여 정확도와 하드웨어 효율성 간의 균형을 이루지 못하는 경우가 많다는 점을 해결하기 위해.
• NVIDIA TX2 GPU와 Ultra96 FPGA와 같은 저전력 임베디드 플랫폼에 특화된 가벼운 하드웨어 인지 DNN 아키텍처를 개발하기 위해.
• 시작 단계부터 하드웨어 제약을 고려한 하향식 설계 접근 방식이 기존의 압축 기반 방법보다 엣지 객체 탐지에서 뛰어난 성능을 낼 수 있음을 입증하기 위해.
• 정확도(IoU), 처리량(FPS), 에너지 효율성의 세 가지 기준을 최적화하여 저전력 객체 탐지 분야의 새로운 기준을 설정하기 위해.

제안 방법

• 기존의 모델을 압축하는 것이 아니라 최소한의 아키텍처 구성 요소에서 시작하는 하향식 DNN 설계 접근 방식을 제안하였다.
• 메모리 및 계산 부담을 최소화하기 위해 12개의 합성곱 레이어와 단지 1.82 MB의 파라미터를 가진 SkyNet을 설계하였다.
• 하드웨어 인지 구성 요소를 통합: 깊이를 줄이기 위한 특징 맵 빗방울링, 메모리 액세스 패턴을 향상시키기 위한 레이어 재정렬, 더 나은 양자화 및 에너지 효율성을 위한 ReLU6 사용.
• 성능 평가를 위해 NVIDIA TX2 GPU(32비트 부동소수점)와 Xilinx Ultra96 FPGA(9비트 특징 맵, 11비트 가중치)에 모델을 구현하였다.
• IoU, 에너지 효율성(평균 에너지 비율의 로그 비율을 통한 계산), 처리량을 조합한 커스터마이징된 스코어링 시스템을 사용하여 총 스코어를 산정하였으며, 더 높은 스코어는 낮은 에너지 소비와 높은 정확도를 유리하게 반영하였다.
• 목표 지연 시간 및 자원 제약 조건 하에서 레이어 조합을 평가함으로써 검색 기반 최적화(SGD 등)를 적용하여 네트워크를 점진적으로 확장하였다.

실험 결과

연구 질문

• RQ1 하향식 설계 접근 방식이 엣지 디바이스에서 저전력 객체 탐지에 있어 상향식 압축 전략을 능가할 수 있는가?
• RQ2 ReLU6, 특징 맵 빗방울링, 레이어 재정렬과 같은 아키텍처 수정 사항이 임베디드 GPU 및 FPGA에서 정확도와 효율성에 얼마나 큰 영향을 미치는가?
• RQ3 단지 1.82 MB의 파라미터를 가진 경량 DNN이 드론 촬영 이미지에서 높은 탐지 정확도(IoU)와 실시간 처리량(FPS)을 달성할 수 있는가?
• RQ4 양자화 및 메모리 액세스 최적화를 포함한 하드웨어 인지 설계가 엣지 AI 시스템의 에너지 효율성과 추론 속도에 어떤 영향을 미치는가?
• RQ5 플랫폼 특화 재학습 없이도 단일 모델 아키텍처가 GPU 및 FPGA와 같은 다양한 엣지 플랫폼에서 최상위 성능을 달성할 수 있는가?

주요 결과

• SkyNet은 NVIDIA TX2 GPU에서 0.731 IoU와 67.33 FPS를 기록하여 GPU 트랙에서 1위를 차지하였다.
• Xilinx Ultra96 FPGA에서 SkyNet은 0.716 IoU와 25.05 FPS를 기록하여 FPGA 트랙에서 1위를 확보하였다.
• GPU에서는 13.50 W, FPGA에서는 7.26 W의 전력 소비를 기록하여 높은 에너지 효율성 스코어를 기여하였으며, 이는 양 트랙에서 최고의 총 스코어를 확보하는 데 기여하였다.
• SkyNet의 총 스코어는 GPU에서 1.504, FPGA에서 1.526로, 양 분야에서 모두 다른 모든 참가자들을 압도하였다.
• 하향식 설계 접근 방식에 더하여 ReLU6, 특징 맵 빗방울링, 재정렬을 통합함으로써, SkyNet은 Tiny YOLO나 MobileNet과 같은 상향식 압축 모델보다 정확도와 효율성 면에서 모두 뛰어난 성능을 보였다.
• SkyNet의 성공은 하드웨어 인지, 소형 DNN 설계가 기존의 큰 모델을 후행적으로 압축하는 방식보다 엣지 디바이스에서 뛰어난 성능을 낼 수 있음을 입증한다.