[論文レビュー] The Machine Learning Canvas: Empirical Findings on Why Strategy Matters More Than AI Code Generation

Martin Prause|arXiv (Cornell University)|Jan 5, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

本論文は Machine Learning Canvas を提案し、戦略・プロセス・エコシステム・サポートという戦略因子が ML プロジェクトの成功を左右し、組織的支援が戦略とその後のワークフローとインフラを影響することを示す。AI コード生成はコーディングを加速するが成功を保証しない。

ABSTRACT

Despite the growing popularity of AI coding assistants, over 80% of machine learning (ML) projects fail to deliver real business value. This study creates and tests a Machine Learning Canvas, a practical framework that combines business strategy, software engineering, and data science in order to determine the factors that lead to the success of ML projects. We surveyed 150 data scientists and analyzed their responses using statistical modeling. We identified four key success factors: Strategy (clear goals and planning), Process (how work gets done), Ecosystem (tools and infrastructure), and Support (organizational backing and resources). Our results show that these factors are interconnected - each one affects the next. For instance, strong organizational support results in a clearer strategy (β= 0.432, p < 0.001), which improves work processes (β= 0.428, p < 0.001) and builds better infrastructure (β= 0.547, p < 0.001). Together, these elements determine whether a project succeeds. The surprising finding? Although AI assistants make coding faster, they don't guarantee project success. AI assists with the "how" of coding but cannot replace the "why" and "what" of strategic thinking.

研究の動機と目的

• ビジネス戦略と ML デリバリを結ぶ統合フレームワークの必要性を動機づける。,
• 実践的なフレームワークとして Machine Learning Canvas の開発と検証。,
• 戦略的要因とプロジェクト成功との関係を定量化する。,
• AI コーディングアシスタントはコーディングを加速するが、ビジネス価値を保証しない。

提案手法

• 150 名のデータサイエンティストを対象に調査。,
• 要因とプロジェクト成功の関係を分析する統計モデリング。
• 標準化係数とp値を用いた経路関係の推定。

実験結果

リサーチクエスチョン

• RQ1 戦略・プロセス・エコシステム・サポートは、それぞれ独立にも jointly 影響し ML プロジェクトの成功に寄与するか？
• RQ2 これらの要因は成功結果にどのように相互作用して影響を与えるか？
• RQ3 組織的支援は戦略と downstream のプロセスとインフラを形作り得るか？
• RQ4 AI コーディングアシスタントはプロジェクト成功においてどのような役割を果たすか？

主な発見

• 組織的サポートは戦略に強く影響する（ベータ = 0.432、p < 0.001）。
• 戦略はプロセスに正の影響を与える（ベータ = 0.428、p < 0.001）。
• 戦略はエコシステム/インフラストラクチャにも改善をもたらす（ベータ = 0.547、p < 0.001）。
• 四つの要因は相互に関連し、総じてプロジェクト成功を決定する。
• AI アシスタントはコーディングを加速するが、成功のための戦略的意思決定を置き換えるわけではない。