[論文レビュー] The Art and Practice of Data Science Pipelines: A Comprehensive Study of Data Science Pipelines In Theory, In-The-Small, and In-The-Large

Sumon Biswas, Mohammad Wardat+1 more|arXiv (Cornell University)|Dec 2, 2021

Data Quality and Management被引用数 9

ひとこと要約

本論文は、理論的枠組み、小規模な実装（イン・ザ・スモール）、大規模なプロダクションシステム（イン・ザ・ラージ）の3つの文脈において、データサイエンスパイプラインの包括的分析を提示する。71件の理論的提案、105件のKaggleパイプライン、21件のGitHubプロジェクトを分析した結果、特に小規模な作業においてデータストレージやデプロイメントといった主要な段階が欠落している顕著な構造的差異が明らかになった。著者らは、それぞれの状況に応じた、文脈に配慮した表現を提案し、実践的および研究的文脈におけるデータサイエンスパイプラインの設計と理解を前進させる。

ABSTRACT

Increasingly larger number of software systems today are including data science components for descriptive, predictive, and prescriptive analytics. The collection of data science stages from acquisition, to cleaning/curation, to modeling, and so on are referred to as data science pipelines. To facilitate research and practice on data science pipelines, it is essential to understand their nature. What are the typical stages of a data science pipeline? How are they connected? Do the pipelines differ in the theoretical representations and that in the practice? Today we do not fully understand these architectural characteristics of data science pipelines. In this work, we present a three-pronged comprehensive study to answer this for the state-of-the-art, data science in-the-small, and data science in-the-large. Our study analyzes three datasets: a collection of 71 proposals for data science pipelines and related concepts in theory, a collection of over 105 implementations of curated data science pipelines from Kaggle competitions to understand data science in-the-small, and a collection of 21 mature data science projects from GitHub to understand data science in-the-large. Our study has led to three representations of data science pipelines that capture the essence of our subjects in theory, in-the-small, and in-the-large.

研究の動機と目的

• 理論的枠組み、小規模な実装、大規模なプロダクションシステムにおけるデータサイエンスパイプラインのアーキテクチャ的特徴を理解すること。
• 理論的パイプラインモデルと、実世界のデータサイエンスワークフローにおける実装との間に存在する乖離を同定すること。
• 開発規模（イン・ザ・スモール対イン・ザ・ラージ）の違いに応じて、パイプライン段階、組織構造、特徴がどのように変化するかを調査すること。
• 研究および産業分野におけるより良い設計と実装を支援する、実務に即した文脈に配慮したデータサイエンスパイプライン表現を提供すること。
• 理論的データサイエンスライフサイクルモデルと、ソフトウェア工学実務における実際の使用との間のギャップを埋めること。

提案手法

• 学術文献から抽出した71件の理論的データサイエンスパイプライン提案を体系的に分析し、共通する段階とパターンを抽出・分類した。
• Kaggleコンペティションから収集した105件のデータサイエンスパイプラインを分析し、単一のデータサイエンティストによるワークフローに焦点を当てたイン・ザ・スモール実装を検討した。
• GitHubから収集した21件の成熟したチーム開発型データサイエンスプロジェクトを分析し、イン・ザ・ラージのプロダクションシステムを調査した。
• 比較的かつマルチコンテキスト的なアプローチを用いて、3つの文脈において繰り返し現れる段階、組織構造、特徴的なパターンを同定した。
• 実証的発見に基づき、理論、イン・ザ・スモール、イン・ザ・ラージの3つの文脈に特化した、明確に区別されたパイプライン表現を開発した。
• パイプライン段階（例：データ取得、モデリング、評価）をデータセット間でマッピング可能な構造化されたコード化スキームを適用し、文脈間比較を可能にした。

実験結果

リサーチクエスチョン

• RQ1 理論的枠組みにおけるデータサイエンスパイプラインのコア段階は何か。また、実世界の実装とはどのように比較されるか。
• RQ2 イン・ザ・スモール（Kaggle）とイン・ザ・ラージ（GitHub）の文脈において、データサイエンスパイプラインの組織的構造はどのように異なるか。
• RQ3 理論的モデルと比較して、小規模なデータサイエンスワークフローで一貫して欠落または軽視されているパイプライン段階は何か。
• RQ4 プロダクショングレードのシステムと学術的・コンペティションベースの設定との間で、データサイエンスパイプラインの支配的パターンと特徴は何か。
• RQ5 データ準備、特徴工学、デプロイメントの役割は、理論的、小規模、大規模なデータサイエンスパイプラインにおいてどのように変化するか。

主な発見

• イン・ザ・スモールパイプラインには、11段階の理論的パイプライン段階（例：データ取得、前処理、モデリング、評価、デプロイメント、モニタリング）のうち6つしか存在せず、特にデータストレージとモニタリングが顕著に欠落していた。
• イン・ザ・スモールパイプラインは、データ探索と反復的プロトタイピングに強く重きを置いた主に線形構造を示しており、イン・ザ・ラージシステムで見られるモジュラーかつスケーラブルな組織構造を欠いていた。
• イン・ザ・ラージプロジェクトでは、明確な責任の分離、バージョニング、モニタリング段階を含む、より複雑で非線形なパイプライン構造が見られ、プロダクショングレードのソフトウェア工学実務を反映していた。
• 理論的枠組みでは頻出するが、Kaggleベースの実装では頻繁に省かれる段階（例：データストレージ、モデルモニタリング）があることから、理論と実務の間のギャップが明らかになった。
• モデリングや評価といった段階について理論的合意があるにもかかわらず、その実装頻度と形式は文脈によって顕著に異なり、イン・ザ・スモールパイプラインでは段階が結合されたりスキップされたりする傾向が見られた。
• 本研究では、MLOps実践（例：CI/CD、ログ記録、モデルバージョニング）がイン・ザ・ラージプロジェクトでは体系的かつ一貫して存在する一方で、イン・ザ・スモールではほとんど存在しないことから、データサイエンス工学分野における成熟度のギャップが浮き彫りになった。