[论文解读] Artificial Intelligence and Statistics

Bin Yu, Karl Kumbier|arXiv (Cornell University)|Dec 8, 2017

Data Analysis with R被引用 358

一句话总结

本论文提出 PQRS 工作流程（Population, Question, Representativeness of training data, Scrutiny）作为人机协作的统计框架在 AI 中，展示其在自动驾驶和自动医疗诊断中的应用。

ABSTRACT

Artificial intelligence (AI) is intrinsically data-driven. It calls for the application of statistical concepts through human-machine collaboration during generation of data, development of algorithms, and evaluation of results. This paper discusses how such human-machine collaboration can be approached through the statistical concepts of population, question of interest, representativeness of training data, and scrutiny of results (PQRS). The PQRS workflow provides a conceptual framework for integrating statistical ideas with human input into AI products and research. These ideas include experimental design principles of randomization and local control as well as the principle of stability to gain reproducibility and interpretability of algorithms and data results. We discuss the use of these principles in the contexts of self-driving cars, automated medical diagnoses, and examples from the authors' collaborative research.

研究动机与目标

• 将 PQRS 作为一个将统计思想与人类输入结合的概念框架，用于 AI 研究与产品。
• 解释 PQRS 如何引导数据收集、模型开发和评估，以提高可重复性和可解释性。
• 通过在自动驾驶汽车和自动医疗诊断中的实际应用，说明该框架。

提出的方法

• 定义 PQRS 工作流程及其四个组成部分：Population (P)、Question (Q)、Representativeness of training data (R)、Scrutiny (S)。
• 将 PQRS 与经典统计概念如随机化、局部控制、稳定性和模型检验联系起来。
• 提供自动驾驶汽车、自动医疗诊断以及协作研究中的示例，展示 PQRS 如何引导数据生成与分析。
• 结合稳定性原理以提升人工智能算法与结果的可解释性和可重复性。

实验结果

研究问题

• RQ1 如何使用 PQRS 来框架 AI 产品中的数据收集与分析？
• RQ2 随机化、局部控制和稳定性在使 AI 结果具备可重复性与可解释性方面扮演着怎样的角色？
• RQ3 如何将人类输入与统计原理结合起来，以提升自动驾驶和医疗诊断等领域的 AI？

主要发现

• PQRS 提供四个具体步骤，将人类输入融入 AI 产品开发和数据驱动决策。
• 稳定性与可解释性被强调为值得信赖的 AI 的关键要素，使用稳定性原理来评估对扰动的鲁棒性。
• 现实案例展示了 PQRS 如何解决在条件变化时 AI 表现的相关问题。
• 该框架将实验设计的概念（随机化、局部控制）与当代 AI 挑战连接起来，以改进数据收集与评估。
• 讨论强调领域专业知识和人类审查在解释 AI 输出中的重要性。