[論文レビュー] Collaboration Challenges in Building ML-Enabled Systems: Communication, Documentation, Engineering, and Process

Nadia Nahar, Shurui Zhou+2 more|arXiv (Cornell University)|Oct 19, 2021

Big Data and Business Intelligence被引用数 20

ひとこと要約

本論文は、28の組織に所属する45名の実務家を対象としたインタビューを通じて、ML対応システムを構築する際のコアな協働課題を同定した。主な協働ポイントとして、要件特定、データ品質の交渉、製品-モデル統合を強調し、コミュニケーション、文書化、工学的実装、プロセスが中心的テーマであることを示した。また、ML開発における異種間連携を改善するための実行可能な提言を提示した。

ABSTRACT

The introduction of machine learning (ML) components in software projects has created the need for software engineers to collaborate with data scientists and other specialists. While collaboration can always be challenging, ML introduces additional challenges with its exploratory model development process, additional skills and knowledge needed, difficulties testing ML systems, need for continuous evolution and monitoring, and non-traditional quality requirements such as fairness and explainability. Through interviews with 45 practitioners from 28 organizations, we identified key collaboration challenges that teams face when building and deploying ML systems into production. We report on common collaboration points in the development of production ML systems for requirements, data, and integration, as well as corresponding team patterns and challenges. We find that most of these challenges center around communication, documentation, engineering, and process and collect recommendations to address these challenges.

研究の動機と目的

• ML対応システムの本番環境構築におけるデータサイエンティストとソフトウェアエンジニアの間の協働課題を理解すること。
• 多様な組織構造において、要件、データ、統合の分野で繰り返し現れる協働ポイントとそれに関連する課題を同定すること。
• 組織パターン、チーム構成、権力構造がMLプロジェクトにおける協働の効果にどのように影響するかを検討すること。
• モデル中心の関心を超えて、工学的実装、文書化、プロセスの役割が過小評価されていることを強調すること。
• より良いコミュニケーション、文書化、計画を通じて、異種間連携を改善するための証拠に基づく提言を提示すること。

提案手法

• データサイエンティスト、ソフトウェアエンジニア、マネージャーを含む28の組織から45名の実務家を対象に、半構造化インタビューを実施した。
• テーマ的分析を用いてインタビューデータを分析し、組織的文脈を超えた繰り返し現れる協働ポイントと課題を同定した。
• MLシステム、ソフトウェア工学、協働課題に関する文献レビューと照合し、結果を裏付けた。
• ケーススタディとしてのインタビュー事例を用いて組織構造とチームパターンをマッピングし、役割と責任の視覚的表現を含んだ。
• 主な協働ポイントにおける共通の課題を特定した：要件の分解、データ交渉、MLとソフトウェア工学作業の統合。
• 観察されたパターンに基づき、文書化、工学的厳密性、プロセス計画の強化を重視した提言を開発した。

実験結果

リサーチクエスチョン

• RQ1 ML対応システム開発におけるデータサイエンティストとソフトウェアエンジニアの主な協働ポイントは何か？
• RQ2 これらの協働ポイントで生じる具体的な課題、特に要件、データ、統合分野における課題は何か？
• RQ3 組織構造、チーム構成、権力構造は、MLプロジェクトにおける協働の成果にどのように影響するか？
• RQ4 より良いまたはより悪い協働成果と関連するチーム組織と実務のパターンは何か？
• RQ5 コミュニケーション、文書化、工学的実装、プロセスを通じて協働を改善するための提言は何か？

主な発見

• 最も重要な3つの協働ポイントは、要件特定、データ品質および数量の交渉、製品-モデル統合であり、それぞれが固有の異種間協働課題を伴う。
• コミュニケーションの断絶は広範にわたり、特に技術的背景や用語の違いが原因で、多くの実務家がデータサイエンティストとソフトウェアエンジニアの間で整合性がないと報告している。
• 文書化はしばしば不十分または一貫性がない。モデル要件、データ期待、公平性や説明可能性といったモデルの質を指定する標準化された実務が存在しない。
• 工学的実装の実践はしばしば軽視されている。MLがもたらす複雑性にもかかわらず、自動化、テスト、監視の欠如により、モデルの本番化に困難を抱えるチームが多い。
• プロセスの課題は、MLの非線形的かつ探索的性質が従来のソフトウェア開発ライフサイクルと衝突することに起因し、タイムラインの不整合や責任の不明瞭さを引き起こす。
• 良好な協働成果を上げている組織は、異種間トレーニングへの投資、明確なインターフェース文書化、および計画段階でのデータサイエンスチームとソフトウェアエンジニアリングチームの早期参加を実施している。