[论文解读] Designing Traceability into Big Data Systems

Richard McClatchey, Andrew Branson+3 more|arXiv (Cornell University)|Feb 5, 2015

Scientific Computing and Data Management参考文献 11被引用 6

一句话总结

本文提出一种基于描述的系统设计方法，通过为数据项添加元数据和描述，将可追溯性嵌入大数据系统，从而在不同领域中实现重用和一致管理。该方法已应用于欧洲核子研究中心（CERN）、医疗保健和业务流程管理领域，通过松散类型和统一的项目管理简化了系统设计，提升了云环境中的大数据系统的可追溯性和可维护性。

ABSTRACT

Providing an appropriate level of accessibility and traceability to data or process elements (so-called Items) in large volumes of data, often Cloud-resident, is an essential requirement in the Big Data era. Enterprise-wide data systems need to be designed from the outset to support usage of such Items across the spectrum of business use rather than from any specific application view. The design philosophy advocated in this paper is to drive the design process using a so-called description-driven approach which enriches models with meta-data and description and focuses the design process on Item re-use, thereby promoting traceability. Details are given of the description-driven design of big data systems at CERN, in health informatics and in business process management. Evidence is presented that the approach leads to design simplicity and consequent ease of management thanks to loose typing and the adoption of a unified approach to Item management and usage.

研究动机与目标

• 解决在大规模、基于云的大数据系统中确保数据和流程元素可追溯性和可访问性的挑战。
• 克服应用特定数据建模的局限性，这些局限性阻碍了跨系统的重用性和可审计性。
• 通过自始至终将可重用性和可追溯性作为核心原则来设计系统，推动企业范围内的数据管理。
• 证明统一的、富含元数据的设计方法可降低复杂性并提升系统可管理性。

提出的方法

• 采用以描述为导向的设计理念，优先对数据项（Items）进行元数据增强，以捕获其语义和来源信息。
• 使用松散类型，将数据项与严格的模式约束解耦，从而实现在异构系统间的灵活重用。
• 集成统一的项目管理框架，支持在不同领域中对数据和流程元素进行一致处理。
• 在真实场景中应用该方法，包括CERN的数据系统、医疗信息学和业务流程管理，以验证其可扩展性和实用性。
• 利用元数据描述，实现在分布式、基于云的环境中从数据生成到消费的端到端可追溯性。
• 设计系统时使项目成为一等公民，基于其描述进行建模和管理，而非基于应用特定的逻辑。

实验结果

研究问题

• RQ1 如何在设计阶段系统性地将可追溯性嵌入大数据系统，而非作为后期增强？
• RQ2 何种设计范式能够实现在科学、医疗保健和业务流程等多样化企业领域中对数据和流程元素的一致重用？
• RQ3 富含元数据的、以描述为导向的方法在多大程度上可降低大数据环境中的系统复杂性并提升可维护性？
• RQ4 松散类型如何在驻留在云中的大规模数据系统中支持可追溯性和互操作性？
• RQ5 统一的项目管理模型能否有效跨越企业环境中异构的数据和流程工作负载？

主要发现

• 基于描述的方法通过将丰富的元数据直接嵌入数据项，显著增强了可追溯性，实现了清晰的数据血缘和来源追踪。
• 由于采用松散类型，系统复杂性降低，避免了严格的模式依赖，支持灵活的数据建模。
• 统一的项目管理框架实现了在CERN、医疗信息学和业务流程系统中对数据和流程元素的一致处理。
• 真实部署的证据表明，由于采用了标准化、可重用的项目定义，系统可维护性得到提升，集成开销减少。
• 该方法通过将数据语义与应用逻辑解耦，促进了企业范围内的数据使用，提升了可重用性和可审计性。
• 该方法在生产环境中展示了实际可行性，带来了系统简洁性和运维可管理性的可衡量提升。