[論文レビュー] A Comprehensive Study on Challenges in Deploying Deep Learning Based Software

Zhenpeng Chen, Yanbin Cao+4 more|arXiv (Cornell University)|May 2, 2020

Software Engineering Research参考文献 40被引用数 6

ひとこと要約

本論文は、深層学習（DL）ソフトウェアのデプロイにおける課題について、3,023件のStack Overflow投稿を分析して包括的な実証的調査を実施している。モバイル、クラウド、ブラウザなどのプラットフォームにおける72の具体的な課題の分類を構築し、開発者、研究者、DLフレームワークベンダーがデプロイの信頼性と使いやすさを向上させるために役立つ実用的洞察を提供している。

ABSTRACT

Deep learning (DL) becomes increasingly pervasive, being used in a wide range of software applications. These software applications, named as DL based software (in short as DL software), integrate DL models trained using a large data corpus with DL programs written based on DL frameworks such as TensorFlow and Keras. A DL program encodes the network structure of a desirable DL model and the process by which the model is trained using the training data. To help developers of DL software meet the new challenges posed by DL, enormous research efforts in software engineering have been devoted. Existing studies focus on the development of DL software and extensively analyze faults in DL programs. However, the deployment of DL software has not been comprehensively studied. To fill this knowledge gap, this paper presents a comprehensive study on understanding challenges in deploying DL software. We mine and analyze 3,023 relevant posts from Stack Overflow, a popular Q&A website for developers, and show the increasing popularity and high difficulty of DL software deployment among developers. We build a taxonomy of specific challenges encountered by developers in the process of DL software deployment through manual inspection of 769 sampled posts and report a series of actionable implications for researchers, developers, and DL framework vendors.

研究の動機と目的

• 実際の現場における深層学習ソフトウェアのデプロイに際して開発者が直面する具体的な課題を特定し、理解すること。
• 他のソフトウェア工学的タスクと比較して、DLソフトウェアのデプロイの普及度と難易度の上昇を調査すること。
• モバイル、クラウド、Web環境を含む多様なプラットフォームにおけるデプロイ課題の体系的分類を提供すること。
• 研究者、開発者、DLフレームワークベンダーがデプロイツールと実践を改善するために役立つ実用的インサイトを提供すること。
• 開発段階や学習段階とは対照的に、デプロイ段階に特化した実証的研究が不足している研究ギャップを埋めること。

提案手法

• キーワードベースのフィルタリングと時系列分析を用いて、深層学習ソフトウェアのデプロイに関連する3,023件のStack Overflow投稿を収集・分析した。
• 反復的コーディングと主題分析を用いて、769件のサンプル投稿を手動で検査し、包括的なデプロイ課題の分類を導出した。
• プラットフォーム（モバイル、クラウド、ブラウザ）、技術分野（モデル変換、互換性、パフォーマンス）および開発段階に基づいて課題をカテゴリに分類した。
• 質的主題分析を用いて、フレームワークの非互換性、ハードウェア制限、デプロイパイプラインの複雑さといった繰り返し発生する問題を同定した。
• 既存のDL開発・デプロイに関する文献と照合することで、発見を検証し、デプロイ段階に特有の課題を強調した。
• 観察されたパターンと苦痛のポイントに基づき、開発者、研究者、フレームワークベンダー向けの実用的推奨事項を生成した。

実験結果

リサーチクエスチョン

• RQ1 異なるプラットフォームにおける深層学習ソフトウェアのデプロイに際し、開発者が直面する最も頻度が高く、深刻な課題は何か？
• RQ2 ビッグデータ処理や並行処理といった他のソフトウェア工学的課題と比較して、DLソフトウェアのデプロイの難易度はどの程度高いのか？
• RQ3 実際のDLソフトウェア開発において、デプロイプロセスを支配する具体的な技術的、環境的、フレームワーク関連の問題は何か？
• RQ4 モバイルデバイス、クラウドサーバー、Webブラウザといった異なるデプロイターゲットごとに課題はどのように異なるのか？
• RQ5 現実のデプロイの困難さに基づいて、DLフレームワーク設計と開発者ツールの改善に役立つ実用的インサイトは何か？

主な発見

• 深層学習ソフトウェアのデプロイは急速に普及しており、モデル学習やデータ処理といった他の段階よりも難易度が高いとされている。
• モデルデプロイは、Stack Overflowにおけるすべての深層学習関連質問の中で、最も頻繁に質問され、最も難しいトピックとされており、コアな開発課題をも上回っている。
• 72の明確に区別できる課題の分類が同定され、モデル変換、ハードウェア互換性、推論パフォーマンス、フレームワーク固有の制限といったカテゴリに分類された。
• モバイルデプロイはリソース制限のため、独自の課題を有しており、開発者は頻繁にモデルの量子化、サイズ削減、デバイス内推論の効率化に苦労している。
• クラウドおよびブラウザベースのデプロイでは、フレームワークの互換性、ランタイム環境の差異、PCからターゲットプラットフォームに移行する際のパフォーマンス劣化といった深刻な問題が顕在している。
• 多くのデプロイ課題は、特にデスクトップでの学習環境から本番プラットフォームに移行する際、DLフレームワーク間で標準化されたインターフェースやツールが不足していることに起因している。