[논문 리뷰] An Empirical Study on Deployment Faults of Deep Learning Based Mobile Applications

Zhenpeng Chen, Huihan Yao외 5명|arXiv (Cornell University)|2021. 01. 13.

Software System Performance and Reliability참고 문헌 41인용 수 5

한 줄 요약

이 논문은 딥러닝 기반 모바일 애플리케이션(mobile DL apps)의 배포 장애에 대한 최초의 종합적인 실증 연구를 제시한다. 스택 오버플로우와 깃허브에서 수집한 304宗의 실제 장애를 분석하여, 23개의 장애 증상 유형으로 세분화된 분류 체계를 제안하고, 반복 가능한 수정 전략을 규명함으로써 텐서플로우 라이트(TensorFlow Lite)와 코어 엠엘(Core ML) 같은 프레임워크를 사용한 모바일 디바이스에서 모델 배포의 신뢰성 향상에 기여할 수 있는 실질적인 통찰을 제공한다.

ABSTRACT

Deep Learning (DL) is finding its way into a growing number of mobile software applications. These software applications, named as DL based mobile applications (abbreviated as mobile DL apps) integrate DL models trained using large-scale data with DL programs. A DL program encodes the structure of a desirable DL model and the process by which the model is trained using training data. Due to the increasing dependency of current mobile apps on DL, software engineering (SE) for mobile DL apps has become important. However, existing efforts in SE research community mainly focus on the development of DL models and extensively analyze faults in DL programs. In contrast, faults related to the deployment of DL models on mobile devices (named as deployment faults of mobile DL apps) have not been well studied. Since mobile DL apps have been used by billions of end users daily for various purposes including for safety-critical scenarios, characterizing their deployment faults is of enormous importance. To fill the knowledge gap, this paper presents the first comprehensive study on the deployment faults of mobile DL apps. We identify 304 real deployment faults from Stack Overflow and GitHub, two commonly used data sources for studying software faults. Based on the identified faults, we construct a fine-granularity taxonomy consisting of 23 categories regarding to fault symptoms and distill common fix strategies for different fault types. Furthermore, we suggest actionable implications and research avenues that could further facilitate the deployment of DL models on mobile devices.

연구 동기 및 목표

• 안전이 중요한 분야와 일상적인 상황에서 점점 더 널리 사용되고 있는 딥러닝 기반 모바일 애플리케이션(mobile DL apps)의 배포 장애에 대한 이해 부족을 해결하기 위해.
• 모바일 디바이스에서 텐서플로우 라이트(TensorFlow Lite)와 코어 엠엘(Core ML) 같은 프레임워크를 사용해 모델을 배포하는 과정에서 발생하는 실제 장애를 식별하고 특성화하기 위해.
• 배포 문제의 다양성을 반영하기 위해 세분화되고 계층적인 장애 증상 분류 체계를 구축하기 위해.
• 각 장애 증상 유형에 대해 공통되는 수정 전략을 도출하여 개발자들을 안내하고 도구 개발에 기여하기 위해.
• 모바일 DL 앱 배포의 신뢰성과 견고성 향상을 위한 실질적인 통찰과 연구 방향을 제공하기 위해.

제안 방법

• 스택 오버플로우와 깃허브에서 개발자 포럼 및 이슈 트래커로 활용되는 두 플랫폼에서 304개의 실제 배포 장애를 수집하였다.
• 수동 분석을 통해 장애 증상을 추출하고, 23개의 유형으로 구성된 계층적 분류 체계에 따라 분류하였다.
• 개발자 논의와 코드 변경 사항을 정성적으로 검토하여 각 장애의 근본 원인과 수정 전략을 매핑하였다.
• 현재 산업 관행에 부합하기 위해 주로 두 가지 주요 모바일 배포 프레임워크인 텐서플로우 라이트(TensorFlow Lite)와 코어 엠엘(Core ML)에 집중하였다.
• 정성적 증상 분류와 수정 전략 패tern 추출을 결합한 혼합 방법론을 사용하였다.
• 재현 가능성과 향후 연구를 지원하기 위해 스크립트와 데이터를 공개하였다.

Figure 1: Development and deployment of DL models

실험 결과

연구 질문

• RQ1 모바일 DL 앱의 배포 장애에서 가장 흔한 증상은 무엇인가?
• RQ2 이러한 배포 장애는 그 기저의 증상 측면에서 어떻게 분류되는가?
• RQ3 개발자들이 이러한 배포 장애를 해결하기 위해 자주 사용하는 수정 전략은 무엇인가?
• RQ4 다른 모바일 배포 프레임워크(예: TF Lite 대비 Core ML) 간에 장애 증상과 수정 전략은 어떻게 다를까?
• RQ5 모바일 DL 앱 개발에서 자동화된 장애 탐지 및 디버깅 도구 향상에 기여할 수 있는 실질적인 통찰은 무엇인가?

주요 결과

• 스택 오버플로우와 깃허브에서 수집한 304개의 실제 배포 장애를 식별하여, 모바일 DL 앱에서의 장애 발생 빈도가 높다는 점을 확인하였다.
• 23개의 장애 증상 유형으로 구성된 세분화된 분류 체계를 구축하여, 모델 호환성, 추론 오류, 하드웨어 특화 문제 등 다양한 배포 과제의 광범위한 스펙트럼을 드러내었다.
• 모델 양자화, 아키텍처 조정, 프레임워크 전용 설정 변경과 같은 공통된 수정 전략을 규명하였으며, 이는 증상 해결에 자주 적용됨을 확인하였다.
• '모델을 로드하지 못함'과 '추론 결과가 잘못됨'과 같은 증상이 가장 자주 보고되어 핵심적인 신뢰성 문제를 시사하였다.
• 일반적인 딥러닝 프로그램 장애보다도 배포 장애는 더 복잡하고 해결하기 어려운 것으로 나타나, 스택 오버플로우에서의 질문 수와 난이도 증가로 이를 뒷받침하였다.
• 메모리 제약과 CPU 제약과 같은 모바일 전용 제약 조건를 감안할 때, 자동화된 배포 장애 탐지 및 진단 도구의 필요성이 제안된다.

Figure 2: Overview of the methodology.