[논문 리뷰] The Machine Learning Canvas: Empirical Findings on Why Strategy Matters More Than AI Code Generation

Martin Prause|arXiv (Cornell University)|2026. 01. 05.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

이 논문은 Machine Learning Canvas를 도입하고 전략적 요인—Strategy, Process, Ecosystem, 그리고 Support—이 ML 프로젝트 성공을 좌우함을 보이며, 조직의 지원이 Strategy 및 이후의 워크플로우와 인프라에 영향을 준다; AI code generation이 코딩 속도를 높이지만 성공을 보장하지는 않는다.

ABSTRACT

Despite the growing popularity of AI coding assistants, over 80% of machine learning (ML) projects fail to deliver real business value. This study creates and tests a Machine Learning Canvas, a practical framework that combines business strategy, software engineering, and data science in order to determine the factors that lead to the success of ML projects. We surveyed 150 data scientists and analyzed their responses using statistical modeling. We identified four key success factors: Strategy (clear goals and planning), Process (how work gets done), Ecosystem (tools and infrastructure), and Support (organizational backing and resources). Our results show that these factors are interconnected - each one affects the next. For instance, strong organizational support results in a clearer strategy (β= 0.432, p < 0.001), which improves work processes (β= 0.428, p < 0.001) and builds better infrastructure (β= 0.547, p < 0.001). Together, these elements determine whether a project succeeds. The surprising finding? Although AI assistants make coding faster, they don't guarantee project success. AI assists with the "how" of coding but cannot replace the "why" and "what" of strategic thinking.

연구 동기 및 목표

• 비즈니스 전략과 ML 전달을 연결하는 통합 프레임워크의 필요성을 동기화한다.
• Machine Learning Canvas를 실제 프레임워크로 개발하고 검토한다.
• 전략적 요인과 프로젝트 성공 간의 관계를 정량화한다.
• AI 코딩 어시스턴트가 코딩 속도를 높이지만 비즈니스 가치를 보장하지는 않는다는 점을 보여준다.

제안 방법

• 데이터 사이언티스트 150명을 대상으로 한 설문조사.
• 요인 간의 관계와 프로젝트 성공 간의 관계를 분석하기 위한 통계 모델링.
• 표준화된 계수와 p-값으로 경로 관계를 추정.

실험 결과

연구 질문

• RQ1 Strategy, Process, Ecosystem, 및 Support가 독립적이거나 공동으로 ML 프로젝트 성공에 영향을 미치는가?
• RQ2 이 요인들이 성공 결과에 어떤 식으로 상호 작용하는가?
• RQ3 조직적 지원이 전략과 다운스트림 프로세스 및 인프라를 형성할 수 있는가?
• RQ4 AI 코딩 어시스턴트가 프로젝트 성공 달성에서 어떤 역할을 하는가?

주요 결과

• 조직적 지원이 Strategy에 강하게 영향을 준다(betA = 0.432, p < 0.001).
• Strategy는 Process에 긍정적으로 영향을 준다(betA = 0.428, p < 0.001).
• Strategy는 또한 Ecosystem/Infrastructure를 개선한다(betA = 0.547, p < 0.001).
• 네 가지 요인은 상호 연결되어 있으며, collectively 프로젝트 성공을 결정한다.
• AI 어시스턴트가 코딩 속도를 높이지만 성공을 위한 전략적 의사결정을 대체하지는 않는다.