[논문 리뷰] An Empirical Study towards Characterizing Deep Learning Development and Deployment across Different Frameworks and Platforms

Qianyu Guo, Sen Chen외 7명|arXiv (Cornell University)|2019. 09. 15.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 12

한 줄 요약

이 경험적 연구는 다양한 환경에서 모델 개발 및 배포에 영향을 미치는 딥러닝 프레임워크와 플랫폼의 영향을 조사한다. 동일한 구성 조건에서 정확도, 내구성 및 성능을 평가함으로써, 저자들은 모델이 프레임워크 및 플랫폼 간에 이식되거나 양자화될 때 예측 정확도와 신뢰성에 중대한 격차가 있음을 드러내며, 실제 배포에 영향을 주는 심각한 소프트웨어 버그와 호환성 문제를 폭 드러낸다.

ABSTRACT

Deep Learning (DL) has recently achieved tremendous success. A variety of DL frameworks and platforms play a key role to catalyze such progress. However, the differences in architecture designs and implementations of existing frameworks and platforms bring new challenges for DL software development and deployment. Till now, there is no study on how various mainstream frameworks and platforms influence both DL software development and deployment in practice. To fill this gap, we take the first step towards understanding how the most widely-used DL frameworks and platforms support the DL software development and deployment. We conduct a systematic study on these frameworks and platforms by using two types of DNN architectures and three popular datasets. (1) For development process, we investigate the prediction accuracy under the same runtime training configuration or same model weights/biases. We also study the adversarial robustness of trained models by leveraging the existing adversarial attack techniques. The experimental results show that the computing differences across frameworks could result in an obvious prediction accuracy decline, which should draw the attention of DL developers. (2) For deployment process, we investigate the prediction accuracy and performance (refers to time cost and memory consumption) when the trained models are migrated/quantized from PC to real mobile devices and web browsers. The DL platform study unveils that the migration and quantization still suffer from compatibility and reliability issues. Meanwhile, we find several DL software bugs by using the results as a benchmark. We further validate the results through bug confirmation from stakeholders and industrial positive feedback to highlight the implications of our study. Through our study, we summarize practical guidelines, identify challenges and pinpoint new research directions.

연구 동기 및 목표

• 다양한 딥러닝 프레임워크와 플랫폼이 모델 개발 및 배포 품질에 미치는 영향를 이해하기 위해.
• 동일한 구성 조건에서 프레임워크 간에 정확도 격차를 특정하기 위해.
• PC에서 모바일 및 웹 플랫폼으로의 모델 이식 및 양자화의 신뢰성과 성능을 평가하기 위해.
• 프레임워크 및 플랫폼 차이로 인해 발생하는 딥러닝 소프트웨어 버그를 탐지하고 검증하기 위해.
• 교차 플랫폼 딥러닝 배포를 향상시키기 위한 실용적 지침을 제공하고 새로운 연구 방향을 규명하기 위해.

제안 방법

• TensorFlow, PyTorch 등 여러 프레임워크에서 두 개의 DNN 아키텍처와 세 개의 표준 데이터셋을 사용해 체계적인 실험을 수행하였다.
• 프레임워크 특유의 차이를 분리하기 위해 동일한 런타임 구성과 공유된 모델 가중치/편향 조건에서 예측 정확도를 평가하였다.
• 기존의 공격 기법을 사용해 적대적 내구성을 평가하여 프레임워크 간 모델 일관성을 테스트하였다.
• PC에서 얻은 훈련된 모델을 실제 모바일 기기와 웹 브라우저(예: TensorFlow Lite, Core ML, TensorFlow.js)로 이식하고 양자화하였다.
• 교차 플랫폼 배포 중 인퍼런스 시간, 메모리 소비, 정확도 저하 측면에서 성능 영향을 측정하였다.
• 실제 소프트웨어 버그를 확인하기 위해 산업계 피드백과 이해관계자 확인을 통해 발견 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 RQ1: 동일한 런타임 구성 또는 동일한 모델 가중치/편향을 사용할 때, 다양한 딥러닝 프레임워크 간 예측 정확도는 어떻게 달라지나?
• RQ2 RQ2: 동일한 구성과 가중치로 훈련된 모델이 프레임워크 간에 적대적 내구성은 어떻게 다를까?
• RQ3 RQ3: PC에서 모바일 및 웹 플랫폼으로의 모델 이식 및 양자화 시 정확도와 성능에 어떤 영향을 미치는가?
• RQ4 RQ4: 다양한 플랫폼 간 모델 이식 및 양자화 과정에서 어떤 호환성 및 신뢰성 문제가 발생하는가?
• RQ5 RQ5: 프레임워크 및 플랫폼의 차이로 인해 배포 시 어떤 딥러닝 소프트웨어 버그가 발생하는가?

주요 결과

• 동일한 가중치와 하이퍼파라미터를 사용해도, 동일한 모델이 다른 프레임워크에 배포될 경우 예측 정확도가 심각하게 저하된다.
• 동일한 훈련 구성 조건을 사용해도 프레임워크 간에 적대적 내구성이 뚜렷하게 다름을 확인하였으며, 이는 프레임워크에 따라 모델 행동이 달라지는 것을 시사한다.
• PC에서 모바일 및 웹 플랫폼으로의 모델 이식 및 양자화 과정에서 명백한 정확도 저하가 발생하며, 주로 플랫폼 특화된 구현 차이로 인한 것이다.
• 인퍼런스 시간과 메모리 소비 등의 성능 지표는 플랫폼 간에 상당한 차이를 보이며, 일부 플랫폼은 예상치 못한 오버헤드를 유발한다.
• 다수의 실제 딥러닝 소프트웨어 버그가 발견되었으며, 특히 양자화 및 텐서 연산 모듈에서 이해관계자에 의해 확인되었다.
• 본 연구는 교차 플랫폼 일관성과 표준화된 모델 변환 파이프라인의 필수성을 드러내며, 신뢰할 수 있는 배포를 보장하기 위한 필요성을 강조한다.