[논문 리뷰] Rethinking Machine Learning Development and Deployment for Edge Devices

Liangzhen Lai, Naveen Suda|arXiv (Cornell University)|2018. 06. 20.

IoT and Edge/Fog Computing참고 문헌 18인용 수 9

한 줄 요약

이 논문은 KANJI라는 전용 프레임워크를 통해 모델 훈련과 추론을 재설계함으로써, 특히 ARM Cortex-M CPU에 최적화된 엣지 장치를 위한 새로운 머신러닝 개발 및 배포 파이프라인을 제안한다. 8비트 정수 형식으로 직접 훈련하고 고유한 연산자들을 사용함으로써, 배포 시 불일치 문제를 제거하고 모델 크기를 최대 75%까지 줄이며, FP32 모델과 비교해 정확도를 유지하거나 향상시킨다. 이는 자원이 제한된 하드웨어에서 효율적이고 고성능의 추론을 가능하게 한다.

ABSTRACT

Machine learning (ML), especially deep learning is made possible by the availability of big data, enormous compute power and, often overlooked, development tools or frameworks. As the algorithms become mature and efficient, more and more ML inference is moving out of datacenters/cloud and deployed on edge devices. This model deployment process can be challenging as the deployment environment and requirements can be substantially different from those during model development. In this paper, we propose a new ML development and deployment approach that is specially designed and optimized for inference-only deployment on edge devices. We build a prototype and demonstrate that this approach can address all the deployment challenges and result in more efficient and high-quality solutions.

연구 동기 및 목표

• 기존 프레임워크가 배포 불일치를 유발하는 자원이 제한된 엣지 장치에 머신러닝 모델을 배포하는 데 점점 더 어려움을 겪는 문제를 해결하기 위해.
• 고수준 프레임워크에서의 모델 개발과 엣지 하드웨어에서의 효율적 추론 간 격차를 줄이기 위해, 단일 최적화 파이프라인 내에서 훈련과 배포를 통합하기 위해.
• 후행 훈련 양자화에 의존하지 않고, 저정밀도 정수 형식(예: 8비트 비대칭/대칭 양자화)에서 엔드투엔드 훈련과 배포를 가능하게 함으로써 모델의 효율성과 품질을 향상시키기 위해.
• 머신러닝 프레임워크와 추론 엔진 간 연산자 가용성 및 동작 방식의 차이로 인한 배포 병목 현상을 제거하기 위해.
• 적절한 사전 처리 및 최적화와 결합할 경우, 직접 저정밀도 형식에서 훈련하는 것이 FP32 대비 유사하거나 더 높은 정확도를 가진 모델을 생성할 수 있음을 입증하기 위해.

제안 방법

• 8비트 정수 연산과 맞춤형 양자화 연산자를 네이티브로 지원하는 단일 프레임워크(KANJI)를 통해 모델 훈련과 배포를 통합한 새로운 머신러닝 개발 및 배포 파이프라인을 제안한다.
• 후행 훈련 양자화가 필요 없도록, 처음부터 양자화된 연산을 사용하여 8비트 추론을 직접 최적화하는 새로운 훈련 프로세스를 도입한다.
• Winograd 컨벌루션과 양자화된 행렬 곱셈과 같은 특수 저정밀도 연산을 지원하는 맞춤형 연산자 구현 스택(CMSIS-NN 등)을 활용한다.
• 훈련 그래프에서 직접 배포된 추론 그래프로 매핑되는 통합된 모델 표현 방식을 사용하여 중간 변환 단계를 제거하고 모델 동작을 유지한다.
• 정확도 향상을 위해 이미지별 표준화 및 배치 정규화 유사 정규화와 같은 입력 사전 처리 기법을 적용한다.
• 사전 훈련된 FP32 모델을 KANJI 프레임워크에서 재타겟팅하고 미세조정하여 양자화 후 정확도 손실를 복구할 수 있도록 하며, 이로써 재훈련 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 엔드포인트 장치에 배포할 때, 8비트 정수 형식에서 직접 딥 네트워크를 훈련하면, FP32 모델과 비교해 정확도가 유사하거나 높은가?
• RQ2 통합된 훈련 및 배포 파이프라인은 프레임워크와 추론 환경 간 불일치 문제를 어느 정도 줄이고, 배포 복잡성을 감소시키는가?
• RQ3 다양한 입력 사전 처리 기법은 저정밀도 추론에서 양자화된 모델의 정확도에 어떤 영향을 미치는가?
• RQ4 8비트 정수 형식에서 훈련할 경우 최적화기 선택과 학습률 설정이 수렴성과 최종 정확도에 어떤 영향을 미치는가?
• RQ5 사전 훈련된 FP32 모델을 제안된 파이프라인에서 효과적으로 재타겟팅하고 미세조정하여, 최소한의 재훈련 비용으로 높은 정확도를 달성할 수 있는가?

주요 결과

• KANJI를 통한 8비트 정수 형식에서의 직접 훈련은 CIFAR-10에서 81.9%의 top-1 정확도를 달성했으며, 다양한 사전 처리 기법을 사용한 FP32 모델의 81.5–81.8% 정확도와 유사하거나 이를 초월했다.
• KANJI 프레임워크는 FP32 모델 대비 최대 75%까지 모델 크기를 줄였으며, 정확도를 유지하거나 향상시켜 높은 효율성 향상을 입증했다.
• KANJI에서 배치 정규화 유사 사전 처리 기법을 사용함으로써 정확도가 81.9%로 향상되었으며, 표준 이미지별 정규화나 binaryproto 기반 사전 처리보다 뛰어난 성능을 보였다.
• KANJI에서의 훈련은 FP32 훈련 대비 스텝당 20–25% 느렸지만, 초기 학습률을 증가시킴으로써 수렴성을 향상시킬 수 있어 훈련 속도와 최적화 간의 상충 관계를 보였다.
• FP32에서 사전 훈련하고 KANJI에서 미세조정하는 하이브리드 전략은 정확도 손실을 성공적으로 복구했으며, 잘 최적화된 사전 훈련된 모델의 재사용을 가능하게 했다.
• 제안된 파이프라인은 연산자 가용성 및 프레임워크와 추론 엔진 간 행동 차이로 인한 배포 과제를 완전히 제거했으며, 훈련 그래프에서 최적화된 추론 그래ph로의 직접 매핑을 가능하게 했다.