[论文解读] Big Data - Retour vers le Futur - 3 - De Statisticien à Data Scientist

Philippe Besse, Aurélien Garivier+1 more|arXiv (Cornell University)|Mar 14, 2014

Data Mining Algorithms and Applications参考文献 26被引用 1

一句话总结

本文追溯了统计学家角色从传统统计学到数据科学的演变，这一演变由大数据的体量、多样性与速度所驱动。文章识别出统计学与数学领域在应对这些大数据特征方面出现的新兴研究挑战，并提出分析方法论的范式转变。

ABSTRACT

The rapid evolution of information systems managing more and more voluminous data has caused profound paradigm shifts in the job of statistician, becoming successively data miner, bioinforma- tician and now data scientist. Without the sake of completeness and after having illustrated these successive mutations, this article briefly introduced the new research issues that quickly rise in Statistics, and more generally in Mathematics, in order to integrate the characteris- tics : volume, variety and velocity, of big data.

研究动机与目标

• 考察统计学家角色在数据管理系统演变背景下的历史变迁。
• 识别大数据特征——体量、多样性与速度——在统计学与数学领域引发的新研究挑战。
• 提出统计方法论的观念性转变，以适应现代数据科学的需求。
• 强调整合跨学科知识以应对大数据分析复杂性的必要性。

提出的方法

• 通过分析统计学家角色的历史演进，涵盖数据挖掘者、生物信息学家与数据科学家等相继角色。
• 说明由于数据体量与复杂性增加，数据处理与分析范式发生的转变。
• 探讨现代数据科学中异构数据类型（多样性）与实时处理（速度）的整合。
• 提出传统统计方法必须演进以融入大数据特征。
• 强调需要新的数学与统计框架以应对可扩展性与异质性挑战。
• 建议在大数据约束背景下重新思考统计推断与建模。

实验结果

研究问题

• RQ1 统计学家角色如何因大数据的兴起而演变？
• RQ2 大数据特征——体量、多样性与速度——在统计学与数学领域引发哪些新研究挑战？
• RQ3 传统统计方法如何适应现代大数据工作负载？
• RQ4 为使统计学在数据科学中保持相关性，需要哪些观念与方法论的转变？
• RQ5 为应对大数据的分析需求，需要哪些跨学科方法？

主要发现

• 由于数据规模与复杂性的增加，统计学家角色已从经典统计学演变为数据科学。
• 大数据的体量、多样性与速度要求超越传统统计学的新方法论。
• 在数学与统计学领域，正出现处理数据异质性与实时处理的新研究问题。
• 从统计学家到数据科学家的转变，反映了数据分析范式的更广泛转变。
• 亟需能够随大数据扩展而保持分析严谨性的统计框架。
• 本文强调在大数据背景下，将领域特定知识与统计及计算方法相结合的重要性。