[논문 리뷰] CoCoPIE: Making Mobile AI Sweet As PIE --Compression-Compilation Co-Design Goes a Long Way

Shaoshan Liu, Bin Ren외 2명|arXiv (Cornell University)|2020. 03. 14.

Advanced Neural Network Applications참고 문헌 55인용 수 13

한 줄 요약

CoCoPIE는 전용 하드웨어 없이도 일반 기기에서 실시간 모바일 AI를 가능하게 하는 압축-컴파일러 공동 설계 프레임워크를 제안한다. 이는 DNN 프루닝 속도를 최대 180배 빠르게 하고, ASIC/FPGA 가속기보다도 빠른 속도와 에너지 효율성을 확보한다. 이는 모바일 CPU와 GPU를 대상으로 압축과 컴파일을 공동 최적화함으로써 달성된다.

ABSTRACT

Assuming hardware is the major constraint for enabling real-time mobile intelligence, the industry has mainly dedicated their efforts to developing specialized hardware accelerators for machine learning and inference. This article challenges the assumption. By drawing on a recent real-time AI optimization framework CoCoPIE, it maintains that with effective compression-compiler co-design, it is possible to enable real-time artificial intelligence on mainstream end devices without special hardware. CoCoPIE is a software framework that holds numerous records on mobile AI: the first framework that supports all main kinds of DNNs, from CNNs to RNNs, transformer, language models, and so on; the fastest DNN pruning and acceleration framework, up to 180X faster compared with current DNN pruning on other frameworks such as TensorFlow-Lite; making many representative AI applications able to run in real-time on off-the-shelf mobile devices that have been previously regarded possible only with special hardware support; making off-the-shelf mobile devices outperform a number of representative ASIC and FPGA solutions in terms of energy efficiency and/or performance.

연구 동기 및 목표

• 실시간 모바일 AI를 위해 전용 하드웨어가 필수적이라는 산업 전반의 가정에 도전하기 위해.
• 효과적인 압축-컴파일러 공동 설계가 전용 가속기를 갖지 않은 주류 모바일 프로세서에서 실시간 추론을 달성할 수 있음을 입증하기 위해.
• 일반 프로세서를 활용해 전용 AI 하드웨어와 관련된 시장 진입 시간, 비용, 기술적 장벽을 줄이기 위해.
• 소프트웨어 중심 최적화를 통해 기존 모바일 및 IoT 기기에서 실시간 AI의 광범위한 보급을 가능하게 하기 위해.
• DNN에 국한되지 않고 전체 AI 애플리케이션 최적화와 프라이버시를 고려한 배포에까지 공동 설계 원리를 확장하기 위해.

제안 방법

• 이중 구성 요소 프레임워크인 CoCo-Gen(자동화된 고성능 DNN 압축용)과 CoCo-Tune(지능적인 컴파일 및 최적화용)를 도입한다.
• 모델 압축(프루닝 및 양자화)이 저수준 하드웨어 실행 패턴을 기반으로 하여 컴파일 효율성을 향상시키는 상호보완적 설계를 채택한다.
• 모듈성과 조합 가능성과 같은 컴파일러 설계의 통찰을 활용해, 더 나은 코드 생성과 성능을 위한 압축 결정을 이끌어낸다.
• 요구 수준에 맞는 공동 설계 접근 방식을 적용하여, 프로세서의 선호도(예: 메모리 접근 패턴, 명령 수준 병렬성)에 맞게 압축 선택을 조율한다.
• 고수준 DNN 모델(예: CNN, RNN, Transformer)에서부터 모바일 CPU와 GPU용 실행 가능한 코드까지의 종단 간 최적화를 적용한다.
• 기본 학습 데이터에 접근할 수 없는 환경에서의 최적화를 가능하게 하기 위해 합성 데이터 생성을 통한 데이터 없음 프루닝을 지원한다.

실험 결과

연구 질문

• RQ1 전용 AI 가속기를 갖지 않은 주류 모바일 기기에서 소프트웨어 공동 설계를 통해 실시간 AI 추론을 달성할 수 있는가?
• RQ2 기존의 독립적인 압축 및 컴파일링 파이프라인과 비교해, 압축-컴파일러 공동 설계가 튜닝 시간을 얼마나 줄이고 성능을 향상시킬 수 있는가?
• RQ3 일반 프로세서가 모바일 AI 워크로드에서 속도와 에너지 효율성 측면에서 전용 ASIC 및 FPGA보다 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 공동 설계 원리는 DNN 모델을 넘어서 전체 AI 애플리케이션 최적화와 이질적 배포 시스템 최적화로 어떻게 확장할 수 있는가?
• RQ5 원본 학습 데이터에 접근하지 않고도 합성 데이터를 활용해 프라이버시 보호가 가능한 DNN 최적화를 달성할 수 있는가?

주요 결과

• CoCoPIE는 텐서플로우 라이트 및 기타 주요 프레임워크 대비 최대 180배 빠른 DNN 프루닝을 달성하여 최적화 시간을 극적으로 단축시켰다.
• CoCoPIE는 이전에는 전용 하드웨어가 필요로 했던 다양한 DNN(예: CNN, RNN, Transformer, 대규모 언어 모델)을 일반 기기의 모바일 기기에서 실시간 추론이 가능하게 했다.
• 특히 28–65nm AI 가속기에서 CoCoPIE의 현장 성능는 속도와 에너지 효율성 측면에서 여러 ASIC 및 FPGA 솔루션을 뛰어넘었다.
• 이 프레임워크는 주요 DNN 아키텍처와 연산을 모두 지원하여, CNN, RNN, Transformer 기반 모델 간의 통합 지원을 처음으로 실현했다.
• 데이터 없이 프루닝하는 기능 덕분에 원본 학습 데이터에 접근할 수 없는 환경에서도 모델 최적화가 가능해져, 프라이버시에 민감한 상황에서의 적용 범위를 넓혔다.
• 이전에는 불가능했던 실시간 AI 사용 사례를 가능하게 했으며, 예를 들어 모바일 카메라에서 실시간 영상 스타일 전이, 저대역폭 환경에서의 실시간 HD 영상 업스케일링 등이 포함된다.