[论文解读] Data Science: A Comprehensive Overview

Longbing Cao|arXiv (Cornell University)|Jul 1, 2020

Big Data and Business Intelligence参考文献 82被引用 213

一句话总结

本论文提供了对数据科学的全面综述，追溯其从数据分析到数据科学的演变，概述该时代的特征、挑战、机遇，以及对教育、经济和职业的影响。

ABSTRACT

The twenty-first century has ushered in the age of big data and data economy, in which data DNA, which carries important knowledge, insights and potential, has become an intrinsic constituent of all data-based organisms. An appropriate understanding of data DNA and its organisms relies on the new field of data science and its keystone, analytics. Although it is widely debated whether big data is only hype and buzz, and data science is still in a very early phase, significant challenges and opportunities are emerging or have been inspired by the research, innovation, business, profession, and education of data science. This paper provides a comprehensive survey and tutorial of the fundamental aspects of data science: the evolution from data analysis to data science, the data science concepts, a big picture of the era of data science, the major challenges and directions in data innovation, the nature of data analytics, new industrialization and service opportunities in the data economy, the profession and competency of data education, and the future of data science. This article is the first in the field to draw a comprehensive big picture, in addition to offering rich observations, lessons and thinking about data science and analytics.

研究动机与目标

• 在大数据和数据经济时代，阐明理解数据科学的必要性。
• 定义数据科学，并将其与相关术语如数据分析、数据分析学和大数据区分开。
• 提供数据科学的总体视角，包括其研究、经济、职业和教育方面。
• 识别数据驱动创新与数据教育中的主要挑战、方向和机遇。

提出的方法

• 对从统计学/数据分析到数据科学的旅程进行全面调查。
• 澄清并比较数据科学中的关键术语（数据科学、数据分析、高级分析等）。
• 描述数据科学的时代，包括政府倡议、行业趋势和教育影响。
• 综合数据产品的概念以及数据到知识到智慧的路径。
• 概述支持数据科学研究与教育的科学议程和制度性发展。

实验结果

研究问题

• RQ1 从高层次和学科视角看，数据科学是什么？
• RQ2 该领域如何从数据分析演变到数据科学，其核心组成部分和产出（数据产品）是什么？
• RQ3 哪些重大的社会、政府和教育倡议正在塑造数据科学时代？
• RQ4 在数据驱动的创新与教育中，关键挑战、方向和机遇是什么？
• RQ5 数据科学应如何作为一个职业来组织，包括能力与培训？

主要发现

• 数据科学被描述为数据的科学，以及一个跨学科领域，结合统计学、信息学、计算、传播、管理、社会学和领域背景，将数据转化为洞见和决策。
• 数据科学时代由数据化、开放数据倡议，以及促进数据科学研究、创新和教育的政府与机构计划推动。
• 数据产品从数据科学中产生，代表知识、智能、智慧和通过预测、服务及工具等形式提供的决策。
• 从传统数据分析到数据驱动的发现与分析有显著转变，强调深度分析和数据驱动的决策。
• 本文记录了塑造数据科学科学议程及基础设施的全球与区域性倡议（如 US NSF、EU Horizon 2020、China NSF、UN Global Pulse、Australia’s Data61）。
• 研究认为数据科学不仅仅是“big data”，而是一个整合多个领域、推动新型数据为中心的经济与职业的新广泛学科。