[论文解读] From Data to Knowledge to Action: A Global Enabler for the 21st Century

Eric Horvitz, T. M. Mitchell|arXiv (Cornell University)|Jul 31, 2020

Big Data and Business Intelligence被引用 18

一句话总结

本文提出了一套变革性框架，利用数据采集、存储和机器学习的最新进展，将原始数据转化为科学、社会和治理领域中用于循证决策的可操作知识。通过将大规模数据流与可扩展的推理及人工智能技术相结合，该方法能够实现全球范围内的大规模洞察，从而提升政策和运营决策的质量。

ABSTRACT

A confluence of advances in the computer and mathematical sciences has unleashed unprecedented capabilities for enabling true evidence-based decision making. These capabilities are making possible the large-scale capture of data and the transformation of that data into insights and recommendations in support of decisions about challenging problems in science, society, and government. Key advances include jumps in the availability of rich streams of data, precipitous drops in the cost of storing and retrieving massive amounts of data, exponential increases in computing power and memory, and jumps in the prowess of methods for performing machine learning and reasoning. These advances have come together to create an inflection point in our ability to harness large amounts of data for generating insights and guiding decision making. The shift of commerce, science, education, art, and entertainment to the web makes available unprecedented quantities of structured and unstructured databases about human activities - much of it available to anyone who wishes to mine it for insights. In the sciences, new evidential paradigms and sensing technologies are making available great quantities of data, via use of fundamentally new kinds of low-cost sensors (e.g., genomic microarrays) or through viewers that provide unprecedented scope and resolution. The data pose a huge opportunity for data-centric analyses. To date, we have only scratched the surface of the potential for learning from these large-scale data sets. Opportunities abound for tapping our new capabilities more broadly to provide insights to decision makers and to enhance the quality of their actions and policies.

研究动机与目标

• 解决复杂领域中数据丰富与有效决策能力之间日益扩大的差距。
• 识别使数据能够大规模转化为可操作知识的技术与方法论推动因素。
• 倡导在科学、政府和产业中实现向数据驱动、循证政策与实践的系统性转变。
• 强调人工智能、机器学习和可扩展推理在释放大规模数据全部潜力方面的作用。

提出的方法

• 利用数据存储、计算能力和内存的指数级提升，处理海量异构数据流。
• 应用先进的机器学习与推理技术，从结构化和非结构化数据中提取洞察。
• 利用低成本传感器和数字平台（例如基于网络的系统）捕获实时的人类与环境数据。
• 将基因组微阵列、社交媒体、科学仪器等多样化来源的数据整合到统一的分析框架中。
• 采用基于证据的范式，支持在动态和不确定环境中的决策制定。
• 推动数据与工具的开放获取，以实现在科研与政策领域中的广泛、公平使用。

实验结果

研究问题

• RQ1 如何系统性地将大规模数据转化为应对复杂社会挑战的可操作知识？
• RQ2 哪些技术和方法论的进步使得在现实场景中实现数据到知识的规模化转化成为可能？
• RQ3 人工智能和机器学习在科学、政府和产业中如何增强循证决策？
• RQ4 全球社会如何利用数据基础设施提升政策成效与社会福祉？
• RQ5 在将数据转化为有效行动的过程中存在哪些障碍，以及如何通过系统性创新加以克服？

主要发现

• 数据可得性、存储成本降低以及计算能力的指数级增长，共同创造了数据驱动决策的关键时刻。
• 机器学习与推理系统现已能够对来自基因组学、网络活动和环境传感器等多样化来源的海量异构数据集进行可扩展分析。
• 人类活动向数字平台的转移，为生成洞察提供了前所未有的结构化与非结构化数据访问。
• 尽管有这些进展，实践中仅实现了一小部分大规模数据的潜在价值。
• 本文指出，亟需协调投资于数据基础设施、人工智能与政策整合，以释放更广泛的社会效益。
• 作者得出结论：全球范围内的循证决策方法在技术上已可行，且刻不容缓。