[论文解读] Data Readiness Levels

Neil D. Lawrence|arXiv (Cornell University)|May 5, 2017

Machine Learning and Data Classification参考文献 2被引用 14

一句话总结

本文提出数据就绪水平（DRLs）作为评估和沟通机器学习及分析项目中数据质量和准备就绪程度的框架。该框架借鉴技术就绪水平（TRLs）的模式，使用A、B、C三个等级对数据从初步收集到生产就绪的各个阶段进行分类，旨在通过使数据质量问题更加具体和可操作，提升项目规划、资源分配和协作效率。

ABSTRACT

Application of models to data is fraught. Data-generating collaborators often only have a very basic understanding of the complications of collating, processing and curating data. Challenges include: poor data collection practices, missing values, inconvenient storage mechanisms, intellectual property, security and privacy. All these aspects obstruct the sharing and interconnection of data, and the eventual interpretation of data through machine learning or other approaches. In project reporting, a major challenge is in encapsulating these problems and enabling goals to be built around the processing of data. Project overruns can occur due to failure to account for the amount of time required to curate and collate. But to understand these failures we need to have a common language for assessing the readiness of a particular data set. This position paper proposes the use of data readiness levels: it gives a rough outline of three stages of data preparedness and speculates on how formalisation of these levels into a common language for data readiness could facilitate project management.

研究动机与目标

• 解决建模开始前缺乏标准化语言来评估数据质量的问题。
• 强调在项目规划中，数据整理与准备工作往往资源不足且未受足够重视。
• 通过引入结构化评估框架，主动减少因意外的数据处理需求导致的项目超支。
• 通过使数据就绪程度可视化和可衡量，促进数据科学家与非技术背景利益相关者之间的更好沟通。
• 推动项目关注重点从以模型为中心转向将数据质量作为项目成功的核心组成部分。

提出的方法

• 采用三档框架（A、B、C）表示数据就绪的不同阶段，类比于NASA的技术就绪水平（TRLs）。
• 为每个等级定义描述性标准，以评估数据质量，包括完整性、一致性和可用性。
• 利用该框架指导项目范围界定，提出问题：'在该里程碑时，数据将达到何种DRL？'
• 鼓励项目团队设定最低DRL阈值（例如：'集成要求至少达到B3'），以确保在模型开发前具备足够的数据准备就绪程度。
• 将数据就绪程度视为一种共享语言，以改善围绕数据质量的认知处理与决策制定。
• 建议通过社区共识正式确立DRLs，并在各领域，特别是在数据科学和机器学习领域，加以推广与适应。

实验结果

研究问题

• RQ1 标准化框架在多大程度上能改善数据科学项目中数据质量的评估与沟通？
• RQ2 数据准备中的哪些关键挑战会导致项目超支，又如何能提前应对？
• RQ3 多大程度上可以将类似TRL的体系适配于数据就绪水平，以提升项目规划与资源分配效率？
• RQ4 非技术利益相关者如何通过简化且结构化的量表更好地理解并参与数据质量问题？
• RQ5 数据就绪程度在确保机器学习结果的稳健性、代表性与可复现性方面发挥何种作用？

主要发现

• 数据就绪水平（DRLs）提供了一个结构化且可扩展的框架，用于在建模前评估数据质量，从而降低因数据准备不足带来的项目风险。
• 三档体系（A、B、C）使团队能够定义最低就绪阈值，例如要求集成至少达到B3级。
• 通过明确呈现数据就绪程度，该框架有助于防止因低估数据整理时间与复杂性而导致的项目超支。
• 该提案与TRLs形成类比，表明为数据建立类似的成熟度量表，可提升团队间认知清晰度与共同理解。
• 该框架通过使数据的‘平淡’特性变得更为鲜明和可操作，增强了项目规划与决策制定中的可见性与行动力。
• 本文呼吁通过社区共识正式确立DRLs，特别是在数据科学领域，以确保广泛采纳与实际效用。