[논문 리뷰] Deep Learning on Edge TPUs

Andreas M. Kist, Kist, Andreas M|arXiv (Cornell University)|2021. 08. 31.

CCD and CMOS Imaging Sensors인용 수 11

한 줄 요약

이 논문은 깊이 신경망을 엣지 장치에 배포하기 위한 저전력, 고효율 하드웨어 가속기로 Google Edge TPU를 검토한다. 특히 컴퓨터 비전 작업에 초점을 맞추고 있다. 모델이 메모리에 맞을 경우 Edge TPU는 다른 가속기들보다 웨트당 추론 속도에서 뛰어난 성능을 보이며, 최소한의 지연과 전력 소비로 실시간으로 이미지 및 영상 처리를 수행할 수 있다.

ABSTRACT

Computing at the edge is important in remote settings, however, conventional hardware is not optimized for utilizing deep neural networks. The Google Edge TPU is an emerging hardware accelerator that is cost, power and speed efficient, and is available for prototyping and production purposes. Here, I review the Edge TPU platform, the tasks that have been accomplished using the Edge TPU, and which steps are necessary to deploy a model to the Edge TPU hardware. The Edge TPU is not only capable of tackling common computer vision tasks, but also surpasses other hardware accelerators, especially when the entire model can be deployed to the Edge TPU. Co-embedding the Edge TPU in cameras allows a seamless analysis of primary data. In summary, the Edge TPU is a maturing system that has proven its usability across multiple tasks.

연구 동기 및 목표

• 자원이 제한된 원격 환경에서 딥 러닝 모델을 배포하기 위한 Edge TPU의 능력을 평가하는 것.
• DNN 모델을 Edge TPU 하드웨어에 배포하는 데 필요한 주요 기술적 단계와 제약 조건을 특정하는 것.
• 다른 하드웨어 가속기(예: NVIDIA Jetson, Intel Movidius)와의 비교를 통해 Edge TPU의 속도, 전력 효율성, 지원되는 연산에 대한 성능을 평가하는 것.
• 스마트 카메라, IoT 장치, 다중 모odal 데이터 처리와 같은 실세계 응용 분야에서 Edge TPU의 잠재력을 탐색하는 것.
• 특히 int8 정밀도 제한과 완전하지 않은 연산 지원으로 인한 Edge TPU의 한계를 평가하고, 이를 보완하기 위한 전략을 제안하는 것.

제안 방법

• 저자는 Edge TPU 아키텍처에 대한 종합적인 검토를 수행하였으며, 하드웨어 사양, 지원되는 연산, 추론 성능에 중점을 두었다.
• TensorFlow Lite를 사용한 모델 배포 워크플로우 평가를 통해 모델 양자화 및 Edge TPU 호환 형식으로의 변환 과정을 분석하였다.
• 표준화된 지표인 웨트당 초당 이미지 수를 사용하여 다양한 컴퓨터 비전 작업(예: 이미지 분류, 의미적 세그멘테이션)에 대한 벤치마크 결과를 분석하였다.
• 실세계 배포 사례를 분석하였으며, 스마트 카메라(예: Darcy, Vision AI, MP Cam) 및 네트워크 기반 스토리지 시스템에의 통합 사례를 포함하였다.
• Edge TPU에 모델을 배포할 때 성능 저하가 발생할 경우를 대비한 아키텍처 조정 및 정밀 조정 기법을 논의하였다.
• 가속기 간의 정밀도 지원(단지 int8)과 연산 커버리지(약 50%의 연산이 알려진 제약이 있음)에 대한 비교 분석을 포함하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델에 대해 Edge TPU는 다른 하드웨어 가속기와 비교해 추론 효율성과 전력 소비 측면에서 어떻게 다른가?
• RQ2 DNN 모델을 Edge TPU에 배포하는 데 있어 주요 기술적 과제와 필수 단계는 무엇인가?
• RQ3 Edge TPU는 어떤 컴퓨터 비전 작업에서 뛰어난 성능을 보이며, 어떤 조건에서 그러한 성능을 발휘하는가?
• RQ4 지원되는 연산과 정밀도 측면에서 Edge TPU의 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?
• RQ5 다중 모달 또는 임베디드 IoT 시스템에서 향후 가능한 Edge TPU의 응용 분야는 무엇인가?

주요 결과

• Edge TPU는 일부 모델에 대해 최대 2 TOPS per watt의 성능을 기록하여, 웨트당 초당 이미지 수 측면에서 다른 가속기들을 능가한다.
• 모든 모델이 내장 메모리에 맞을 경우, Edge TPU는 고속, 저지연 추론을 가능하게 하여 뛰어난 성능을 발휘한다.
• 한계가 있음에도 불구하고 아키텍처 조정 및 정밀 조정을 통해 int8 전용 정밀도에서도 정확도를 유지할 수 있다.
• 2021년 7월 기준으로 Edge TPU는 점차 증가하는 연산 집합을 지원하지만, 약 50%의 연산에 대해 알려진 제약이 존재한다.
• 통합 Edge TPU를 탑재한 스마트 카메라는 직접 장치 내에서 이미지 분석을 수행할 수 있으며, 결과만 전송함으로써 대역폭 소비를 줄일 수 있다.
• Edge TPU는 IoT 장치 및 임베디드 시스템과 같은 원격 또는 저전력 환경에서의 엣지 배포에 매우 적합하다.