[论文解读] Learnings from Frontier Development Lab and SpaceML - AI Accelerators for NASA and ESA.

Siddha Ganju, Anirudh Koul+4 more|arXiv (Cornell University)|Nov 9, 2020

Scientific Computing and Data Management参考文献 16被引用 6

一句话总结

本文探讨了前沿发展实验室（FDL）和SpaceML作为人工智能加速器的作用，通过将负责任的人工智能实践与开源协作相结合，弥合了学术界、政府机构与产业界研究之间的差距。通过应用技术成熟度等级（TRLs）和开源传播，FDL实现了可复现的跨学科人工智能研究，具备可衡量的影响，并通过公民科学的采用实现可扩展的部署。

ABSTRACT

Research with AI and ML technologies lives in a variety of settings with often asynchronous goals and timelines: academic labs and government organizations pursue open-ended research focusing on discoveries with long-term value, while research in industry is driven by commercial pursuits and hence focuses on short-term timelines and return on investment. The journey from research to product is often tacit or ad hoc, resulting in technology transition failures, further exacerbated when research and development is interorganizational and interdisciplinary. Even more, much of the ability to produce results remains locked in the private repositories and know-how of the individual researcher, slowing the impact on future research by others and contributing to the ML community's challenges in reproducibility. With research organizations focused on an exploding array of fields, opportunities for the handover and maturation of interdisciplinary research reduce. With these tensions, we see an emerging need to measure the correctness, impact, and relevance of research during its development to enable better collaboration, improved reproducibility, faster progress, and more trusted outcomes. We perform a case study of the Frontier Development Lab (FDL), an AI accelerator under a public-private partnership from NASA and ESA. FDL research follows principled practices that are grounded in responsible development, conduct, and dissemination of AI research, enabling FDL to churn successful interdisciplinary and interorganizational research projects, measured through NASA's Technology Readiness Levels. We also take a look at the SpaceML Open Source Research Program, which helps accelerate and transition FDL's research to deployable projects with wide spread adoption amongst citizen scientists.

研究动机与目标

• 解决公共部门与私营部门之间跨学科人工智能研究的碎片化与缺乏可复现性问题。
• 通过在人工智能研究开发中制度化结构化、原则化的流程，减少技术转化失败。
• 通过公开获取研究成果与方法论，改善组织间的协作与知识共享。
• 通过开源平台与社区参与，加速人工智能研究成果的成熟与采用。
• 以NASA的技术成熟度等级（TRLs）为框架，衡量研究影响，评估进展与可扩展性。

提出的方法

• 通过NASA与ESA之间的公私合作模式，共同领导前沿发展实验室（FDL）作为人工智能加速器。
• 在研究生命周期中嵌入负责任的人工做事发展原则，确保结果具有伦理性、透明性与可复现性。
• 使用技术成熟度等级（TRLs）作为标准化指标，评估并追踪人工智能研究项目的成熟度。
• 建立SpaceML开源项目，用于托管、版本控制并分发FDL的研究成果，以扩大社区的访问与再利用。
• 通过设定明确交付成果的结构化、有时限的研究冲刺，促进跨组织与跨学科的合作。
• 通过开源平台将研究成果打包为可访问、可重用的工具与数据集，推动公民科学的采用。

实验结果

研究问题

• RQ1 如何在保持可复现性与伦理标准的前提下，系统性地加速跨学科与跨组织的人工智能研究？
• RQ2 像技术成熟度等级（TRLs）这样的标准化成熟度指标，在衡量并推进人工智能研究从概念到部署的过程中发挥什么作用？
• RQ3 通过SpaceML等开源项目进行的开源传播，如何提升人工智能研究成果的采用率与可扩展性？
• RQ4 哪些制度与程序框架能够促成人工智能技术从研究到空间与地球科学领域实际应用的成功转化？
• RQ5 公私合作伙伴关系在提升政府航天机构人工智能研究效率与影响方面发挥何种作用？

主要发现

• FDL在短时间内通过密集的研究冲刺成功交付了多个跨学科人工智能项目，证明了在结构化协作下实现快速、高影响力研究的可行性。
• 使用技术成熟度等级（TRLs）使项目成熟度的追踪更加清晰，提升了跨多元利益相关方之间的透明度与一致性。
• SpaceML的开源平台显著提高了FDL研究成果的可访问性与再利用率，促进了社区驱动的创新。
• 负责任的人工智能实践整合显著提升了学术界、政府机构与产业合作伙伴对研究结果的可复现性与信任度。
• 通过共享目标、标准化工作流程与开放知识共享，跨组织协作得到加强，减少了技术转化失败。
• 该模式展现出广泛的采用潜力，公民科学家与外部开发者通过开源贡献，积极参与并拓展了FDL的研究成果。