[논문 리뷰] Challenges and Obstacles Towards Deploying Deep Learning Models on Mobile Devices

Hamid Tabani, Ajay Balasubramaniam외 2명|arXiv (Cornell University)|2021. 05. 06.

Advanced Neural Network Applications참고 문헌 4인용 수 8

한 줄 요약

이 논문은 프레임워크 및 하드웨어 호환성 문제로 인해 모바일 및 엣지 디바이스에 딥러닝 모델을 구현하는 데 발생하는 핵심 과제를 규명한다. 특히 지원되지 않는 레이어 문제에 초점을 맞추며, 재정의, 모델 재학습, 후처리 적응, 커스텀 레이어 구현의 네 가지 실용적인 솔루션을 제안한다. 실험적 검증을 통해 변환 후 정확도 손실가 최소화됨을 확인하였고, 이는 이질적인 플랫폼 간 모델 이식성 향상에 기여한다.

ABSTRACT

From computer vision and speech recognition to forecasting trajectories in autonomous vehicles, deep learning approaches are at the forefront of so many domains. Deep learning models are developed using plethora of high-level, generic frameworks and libraries. Running those models on the mobile devices require hardware-aware optimizations and in most cases converting the models to other formats or using a third-party framework. In reality, most of the developed models need to undergo a process of conversion, adaptation, and, in some cases, full retraining to match the requirements and features of the framework that is deploying the model on the target platform. Variety of hardware platforms with heterogeneous computing elements, from wearable devices to high-performance GPU clusters are used to run deep learning models. In this paper, we present the existing challenges, obstacles, and practical solutions towards deploying deep learning models on mobile devices.

연구 동기 및 목표

• 모바일 및 엣지 디바이스에 딥러닝 모델을 구현하는 데 발생하는 주요 기술적 장벽을 규명하고 분석하는 것.
• 학습된 모델, 딥러닝 프레임워크, 대상 하드웨어 플랫폼 간의 호환성 문제를 검토하는 것.
• 이종 컴퓨팅 환경에서의 모델 변환 및 적응을 위한 실용적이고 산업 현장에서 검증된 솔루션을 제안하고 평가하는 것.
• 제한된 프레임워크 및 하드웨어 지원 조건을 가진 모바일 플랫폼에 모델을 구현하기 위한 실질적인 지침을 제공하는 것.

제안 방법

• 레이어 호환성 문제와 필요한 적응 단계에 따라 모델 배포 과제를 네 가지 유형으로 분류하는 것.
• 재학습이 필요 없이 등가 연산(예: 음수 상수를 사용한 Add로 Subtract를 대체)을 활용한 레이어 교체 구현.
• 구조적 수정 후 모델 재학습 수행(예: ConvTranspose를 Conv, Reshape, Transpose 레이어의 조합으로 대체하는 경우).
• 지원되지 않는 최후의 레이어(예: Softmax)를 모델 그래프에서 외부 계산으로 이관하기 위해 후처리 기법 적용.
• 표준 대체가 불가능한 경우 소스 및 대상 프레임워크 모두에서 커스텀 레이어를 개발하여 프레임워크 간 호환성 확보.
• 실세계 모델 변환을 통한 솔루션 검증을 통해 정확도 유지 및 다양한 하드웨어 플랫폼에서의 성능 측정.

실험 결과

연구 질문

• RQ1 모바일 및 엣지 디바이스에 사전 학습된 딥러닝 모델을 배포할 때 발생하는 주요 호환성 문제의 원인은 무엇인가?
• RQ2 모델 정확도 손실 없이 지원되지 않는 레이어를 효과적으로 대체하거나 적응시키는 방법은 무엇인가?
• RQ3 모델 재학습이 필요한 경우와 후처리 또는 레이어 교체로 충분한 경우는 각각 어떤 상황인가?
• RQ4 배포 과정에서 커스텀 레이어 구현과 모델 아키텍처 수정 사이의 상호 교환성은 어떻게 평가할 수 있는가?
• RQ5 실용적인 변환 전략이 이질적인 모바일 하드웨어 플랫폼 간의 모델 성능 유지를 얼마나 효과적으로 달성하는가?

주요 결과

• 등가 연산을 사용한 레이어 교체(예: Subtract를 음수 가중치를 가진 Add로 대체)를 통한 모델 변환은 재학습 없이도 정확도를 유지한다.
• ConvTranspose와 같은 지원되지 않는 레이어를 Conv, Reshape, Transpose 레이어의 조합으로 재구성한 후 재학습을 수행하면 기준 모델에 가까운 정확도로 성공적으로 배포가 가능하다.
• 다중 출력이 가능한 경우, 지원되지 않는 최후의 레이어(예: Softmax)에 대한 후처리가 가능하여 모델 수정의 필요성을 줄일 수 있다.
• 기타 방법이 불가능하거나 비효율적인 경우, 소스 및 대상 프레임워크 모두에서 커스텀 레이어를 구현하는 것은 타당한 대안이지만 비용이 많이 든다.
• 제안된 솔루션은 연구 모델과 실생산 환경 간의 격차를 최소한의 성능 저하로 효과적으로 메운다.