[論文レビュー] Software Engineering Practice in the Development of Deep Learning Applications

Xufan Zhang, Yilin Yang+2 more|arXiv (Cornell University)|Oct 8, 2019

Software Engineering Research参考文献 36被引用数 23

ひとこと要約

本論文は、195名の実務者を対象とした調査を通じて、ディープラーニング（DL）アプリケーション開発におけるソフトウェア工学的課題を調査している。DL開発ライフサイクル全体にわたり13の主要な課題を特定し、それらをDLソフトウェア工学の実践および研究を改善するための7つの実行可能な提言に要約している。

ABSTRACT

Deep-Learning(DL) applications have been widely employed to assist in various tasks. They are constructed based on a data-driven programming paradigm that is different from conventional software applications. Given the increasing popularity and importance of DL applications, software engineering practitioners have some techniques specifically for them. However, little research is conducted to identify the challenges and lacks in practice. To fill this gap, in this paper, we surveyed 195 practitioners to understand their insight and experience in the software engineering practice of DL applications. Specifically, we asked the respondents to identify lacks and challenges in the practice of the development life cycle of DL applications. The results present 13 findings that provide us with a better understanding of software engineering practice of DL applications. Further, we distil these findings into 7 actionable recommendations for software engineering researchers and practitioners to improve the development of DL applications.

研究の動機と目的

• 産業界の実務者の視点から、ディープラーニング（DL）アプリケーションにおけるソフトウェア工学的実践の現実の課題と不足を理解すること。
• データ管理、モデルトレーニング、テスト、デバッグを含む、DLアプリケーション開発ライフサイクルの各段階で実務者が直面する具体的な困難を同定すること。
• 実務者の経験に基づいて、従来のソフトウェア工学的手法とDLアプリケーション開発の独自のニーズの間のギャップを埋めることで、提言を根拠づけること。
• DLアプリケーションの信頼性、保守可能性、工学的厳密性を向上させるための、実行可能なイン사이트と研究の方向性を提供すること。

提案手法

• 多様な企業に所属する195名の産業界実務者を対象に、DLソフトウェア工学的実践に関する洞察を収集する包括的な調査を実施した。
• 調査設計を支援するために、Baidu、Alibaba、Huaweiに所属する8名の開発者を対象とした文献レビューおよび半構造化インタビューを実施した。
• 全段階のDL開発ライフサイクルをカバーするオープンエンドのアンケートを設計し、特にテストおよびデバッグの課題に重点を置いた。
• 質的分析を用いて、実務者の経験と期待を反映する13の核心的発見に応用を統合した。
• 発見を、ソフトウェア工学の研究者および実務者に向けた7つの実行可能な提言に翻訳した。
• バイアスを低減し、質問の明確さと関連性を向上させるために、産業界のインタビューリングにアンケートの質問を確認した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングアプリケーションの開発ライフサイクルにおいて、実務者が直面する主な課題は何ですか？
• RQ2 DLにおけるデータ駆動型プログラミング実践は、従来のソフトウェア工学と比較して、開発上の課題においてどのように異なりますか？
• RQ3 実務者は、ディープラーニングモデルのテストおよびデバッグにおいて、具体的にどのような困難に直面していますか？
• RQ4 DLアプリケーション開発に適用された際の、現在のソフトウェア工学的手法における主なギャップは何ですか？
• RQ5 ソフトウェア工学の研究は、産業界におけるDL実務者の進化するニーズをどのようによりよく支援できるでしょうか？

主な発見

• データ品質、ラベルの一貫性、データバージョニングといったデータ管理に関する課題は、非常に深刻であり、これらは重要ではあるが、しばしばDLワークフローで十分に支援されていない。
• ハイパーパramータチューニングの複雑さ、再現性の欠如、トレーニング進捗の不十分なモニタリングが、モデルトレーニングを頻繁に妨げている。
• テストおよびデバッグにおけるディープラーニングモデルの課題は、標準化されたテストフレームワークの不在と、ディープラーニング出力の非決定的性質に起因し、非常に困難とされている。
• 実務者は、モデル検証、バージョニング、デプロイメントのためのツールと自動化の不足を報告しており、これにより一時的でエラーを含む実践が生じている。
• チームベースや本番環境において、より良いドキュメンテーション、トレーサビリティ、コラボレーション支援のニーズが強く感じられている。
• 多くの実務者が、モデルが時間経過とともに劣化したり、新しい環境で動作しなくなったりする場合に、DLシステムの長期的な保守性と信頼性について懸念を示している。