[論文レビュー] Preliminary Systematic Literature Review of Machine Learning System Development Process

Yasuhiro Watanabe, Hironori Washizaki+6 more|arXiv (Cornell University)|Oct 12, 2019

Software Engineering Research参考文献 17被引用数 7

ひとこと要約

この予備的系統的文献レビューは、機械学習（ML）システム開発における主要な段階、実践、および伝統的なソフトウェア工学原則を特定する。9編の論文（Scopus 7編、アドホックレビュー2編）を分析した結果、モデル訓練および評価が最も頻繁に強調されていることが判明した。一方、データ関連、小さなスケールから始める・測定する、関心の分離、目的指向の各カテゴリに属する実践は広く採用されており、伝統的なソフトウェア工学の実践がML開発文脈においても依然として極めて関連性が高いかつ高い有用性を示していることが明らかになった。

ABSTRACT

Previous machine learning (ML) system development research suggests that emerging software quality attributes are a concern due to the probabilistic behavior of ML systems. Assuming that detailed development processes depend on individual developers and are not discussed in detail. To help developers to standardize their ML system development processes, we conduct a preliminary systematic literature review on ML system development processes. A search query of 2358 papers identified 7 papers as well as two other papers determined in an ad-hoc review. Our findings include emphasized phases in ML system developments, frequently described practices and tailored traditional software development practices.

研究の動機と目的

• 標準化されたプロセスが不足していることから、機械学習（ML）システム開発における現在の実践を理解すること。
• 既存の文献から、MLシステム開発における繰り返し現れる段階、課題、実践を特定すること。
• 伝統的なソフトウェア工学の実践がMLシステム開発文脈において適用可能かつ適応可能かどうかを調査すること。
• 実証的およびプロセス指向の研究からの知見を統合することで、開発者がML開発プロセスを標準化するのを支援すること。

提案手法

• 『機械学習』、『ソフトウェア工学』、およびプロセス、実践、実証的研究に関連する用語を対象とした明確な検索クエリを用いて、Scopusを用いた系統的文献レビューを実施した。
• MLシステム開発プロセスに特化した論文に限定するため、除外基準を適用し、アルゴリズムの提案、ソフトウェア工学ツール、プロセスの議論を伴わない品質関連の論文を除外した。
• 選定された9編の論文（Scopus 7編、アドホックレビュー2編）に対してテーマ的分析を実施し、MLシステム開発の段階に課題と実践をマッピングした。
• 識別された実践を、データ関連、小さなスケールから始める・測定する、関心の分離、目的指向、および伝統的実践の5つのソフトウェア工学カテゴリに分類した。
• 先行研究から得られた段階モデルに照らし、段階頻度、実践の分布、コミュニティ固有の強調点を分析した。
• 定性的な統合を用いて、繰り返し現れる課題と実践を特定し、伝統的なソフトウェア工学の概念がML文脈にどのように適応されているかを評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: MLシステム開発プロセスで強調されている段階は何か？
• RQ2 RQ2: MLシステム開発プロセスに含まれる種類の実践は何か？
• RQ3 RQ3: MLシステム開発プロセスには伝統的なソフトウェア工学の実践が含まれているか？

主な発見

• モデル訓練および評価の段階が、複数の論文において最も頻繁に記述されており、MLシステム開発における中心的役割を果たしていることが示された。
• データ関連カテゴリと小さなスケールから始める・測定するカテゴリに属する実践は、それぞれ5段階および4段階で採用されており、データ管理および反復的開発における広範な関連性が浮き彫りになった。
• 関心の分離の実践は、モデル訓練、モデル評価、およびモデルデプロイメントの段階に適用されており、ソフトウェア工学の根幹的原則がML文脈に適応されていることが示された。
• 目的指向の実践は、モデル評価段階に特化しており、2つの実践が開発を測定可能な目的と明確に結びつけていた。
• 要求の抽出、トレーサビリティ管理、リファクタリング、テストといった伝統的ソフトウェア工学の実践は、5段階にわたり確認された。特にモデル要件、データ収集、およびモデルデプロイメント段階に含まれていた。
• MLシステムに特有の課題が存在するものの、ソフトウェア工学の根幹的概念は依然として極めて関連性が高く、有用であることが示された。これは、既存の実践がML開発ワークフローに効果的に適応可能である可能性を示唆している。