[论文解读] Challenges and Governance Solutions for Data Science Services based on Open Data and APIs

Juha-Pekka Joutsenlahti, Timo Lehtonen+3 more|arXiv (Cornell University)|Mar 12, 2021

Data Quality and Management参考文献 22被引用 9

一句话总结

本文识别了在开放数据和API上构建数据科学服务时面临的五大关键挑战——相关数据、历史数据、许可、运行时质量以及API演进，特别是在海上交通领域。文章提出了增强的API治理实践以应对这些问题，确保人工智能驱动服务的可靠性、兼容性和可持续性。

ABSTRACT

Increasingly common open data and open application programming interfaces (APIs) together with the progress of data science -- such as artificial intelligence (AI) and especially machine learning (ML) -- create opportunities to build novel services by combining data from different sources. In this experience report, we describe our firsthand experiences on open data and in the domain of marine traffic in Finland and Sweden and identified technological opportunities for novel services. We enumerate five challenges that we have encountered with the application of open data: relevant data, historical data, licensing, runtime quality, and API evolution. These challenges affect both business model and technical implementation. We discuss how these challenges could be alleviated by better governance practices for provided open APIs and data.

研究动机与目标

• 识别基于开放数据和API开发数据科学服务时反复出现的技术与治理挑战。
• 研究海上交通数据领域特定的问题，特别是芬兰-瑞典冬季航行系统中的问题。
• 提出可操作的API治理实践，以缓解数据可用性、质量以及长期可维护性方面的挑战。
• 弥合数据治理、IT治理与API管理之间的差距，以支持可靠的人工智能和机器学习服务。
• 通过在整个价值网络中建立结构化的治理框架，支持可持续、可扩展的数据科学创新。

提出的方法

• 基于实践经验，分析了海上交通领域开放数据与API的使用情况，依据Fintraffic公司实际部署DigiTraffic API的经验。
• 通过从业者洞察识别出五大核心挑战：数据相关性、历史数据访问、许可复杂性、运行时质量以及API演进。
• 将每个挑战映射到特定的API治理方面，如变更控制、策略规范、生命周期对齐以及监控。
• 提出一种整合技术、法律与操作维度的治理模型，以确保向后兼容性和长期稳定性。
• 强调统一监控、审计以及一致的策略实施在维护API完整性与数据质量方面的作用。
• 将API治理定位为更广泛数据治理与IT治理的关键组成部分，与API管理平台和网关保持一致。

实验结果

研究问题

• RQ1 在海上交通领域，基于开放数据和API构建数据科学服务时，主要的技术与操作挑战是什么？
• RQ2 数据相关性、历史数据可得性以及许可问题如何影响人工智能驱动服务的可靠性和可扩展性？
• RQ3 API治理实践在缓解与运行时质量及不断变化的数据源相关的风险方面有哪些作用？
• RQ4 治理模型如何确保开放数据API的向后兼容性和长期可维护性？
• RQ5 统一监控与审计在维持数据科学服务完整性与性能方面发挥什么作用？

主要发现

• 五大主要挑战——相关数据、历史数据、许可、运行时质量以及API演进——显著影响数据科学服务的技术实现与商业可行性。
• API治理实践如变更控制、策略规范和生命周期对齐，对于维持向后兼容性并减少API演进过程中的中断至关重要。
• 运行时质量取决于数据质量与API可靠性，需要在整个API生命周期中持续进行监控、审计与完整性检查。
• 许可与数据访问控制应通过正式化的策略实施与跨API版本的一致执行来管理。
• API治理必须与数据治理和IT治理整合，以确保数据服务的完整性、可解释性与表现一致性。
• 一种包含监控、审计与变更影响分析的统一治理模型，可实现人工智能与机器学习服务在开放数据上的可持续、可扩展部署。