[論文レビュー] A Meta-Summary of Challenges in Building Products with ML Components -- Collecting Experiences from 4758+ Practitioners

Nadia Nahar, Haoran Zhang+3 more|arXiv (Cornell University)|Mar 31, 2023

Software Engineering Research被引用数 6

ひとこと要約

本論文は、4,758名以上の実務家を対象とした50件の研究を統合して、機械学習（ML）を活用したソフトウェア製品を構築する際の課題をメタ要約している。7つのドメインにわたり500件以上の報告された課題を特定・整理し、データ品質、AIリテラシーの欠如、不十分なツールキット、弱いシステムレベルのテストが主な障壁であることが明らかになった。これらの課題は、MLOpsおよびAIエンジニアリング分野における研究、教育、ツール開発に強く関連している。

ABSTRACT

Incorporating machine learning (ML) components into software products raises new software-engineering challenges and exacerbates existing challenges. Many researchers have invested significant effort in understanding the challenges of industry practitioners working on building products with ML components, through interviews and surveys with practitioners. With the intention to aggregate and present their collective findings, we conduct a meta-summary study: We collect 50 relevant papers that together interacted with over 4758 practitioners using guidelines for systematic literature reviews. We then collected, grouped, and organized the over 500 mentions of challenges within those papers. We highlight the most commonly reported challenges and hope this meta-summary will be a useful resource for the research community to prioritize research and education in this field.

研究の動機と目的

• 機械学習（ML）モジュールを含むソフトウェア製品を構築する際に実務家が直面する課題を統合・体系化すること。
• 既存の研究を体系的にレビューすることで、ML開発ライフサイクル全体にわたる繰り返し発生する高影響度の課題を同定すること。
• テーマドメインに分類し、元の実務家出典にたどり着けるようにすることで、今後の研究および教育支援を図ること。
• 生産環境におけるフェアネス、安全性、セキュリティのテストといった、未だ十分に研究が進んでいない分野を浮き彫りにすること。
• 最も頻繁に報告された課題を優先順位付けすることで、ツール開発、プロセス改善、教育的介入の方向性を示すこと。

提案手法

• 4,758名以上の実務家を対象とした50件の関連研究を特定するため、確立されたガイドラインに従った体系的文献レビューを実施した。
• これらの研究に登場する500件以上の課題を収集・分類した。
• 課題を7つのテーマドメインにグループ化した：要件、アーキテクチャ、モデル開発、データエンジニアリング、品質保証、プロセス、組織／チーム。
• 各課題を元の出典にマッピングすることで、追跡可能性と信頼性を確保した。
• テーマ的合成を用いて、頻度の高い課題およびそれらの関連性を同定した。
• 集約された知見に基づき、研究、教育、ツール開発に関する提言を提示した。

Figure 1. Research Method

実験結果

リサーチクエスチョン

• RQ1 実務家が報告するMLを活用したソフトウェア製品の構築における最も頻繁に挙げられる課題は何か？
• RQ2 課題はMLライフサイクルの異なる段階や組織的文脈によってどのように異なるか？
• RQ3 既存のツールや実務で十分にカバーされていない課題は何か？
• RQ4 フェアネス、安全性、セキュリティといったシステムレベルの品質に関する、現在の研究と実務における主なギャップは何か？
• RQ5 実務家が特定した課題に基づいて、研究コミュニティが今後の作業をどのように優先すべきか？

主な発見

• 最も頻繁に報告された課題はデータ品質であり、実務家たちはその重要性を認識しているものの、データの問題管理に苦慮している。
• 多くの実務家が、ステークホルダーのAIリテラシー不足が、不切な期待や不適切な要件定義を引き起こしていると報告している。
• 運用環境でのモニタリングとテストは、重要であると広く認識されているが、多くの場合、遅れて実装されるか、まったく実施されていない。これはプロセス成熟度のギャップを示している。
• データバージョニング、プロバンス追跡、トレーニング・サービングスケールの検出といったツールの不足が、多くのチームで顕在化しているが、それらの重要性は認識されている。
• モデル開発におけるより良いエンジニアリングインfraストラクチャと標準化されたコード品質管理手法の導入が強く求められているが、現在はチーム間で一貫性に欠けている。
• フェアネス、セキュリティ、安全性といったシステムレベルの品質保証は、頻繁に課題として挙げられているが、それらを定着化したプロセスを導入している組織はまだ少ない。

Figure 2. Year Distribution of the Selected Papers