[论文解读] FAIR principles for AI models with a practical application for accelerated high energy diffraction microscopy

Nikil Ravi, Pranshu Chaturvedi+8 more|arXiv (Cornell University)|Jul 1, 2022

Research Data Management Practices被引用 5

一句话总结

本文为人工智能模型引入了实用且可度量的FAIR原则——可发现性、可访问性、互操作性和可重用性，展示了其在高能衍射显微术中加速应用的实践。通过整合DLHub、MDF、funcX和ALCF资源，作者在高性能计算系统上实现了可复现、带有不确定性量化的AI推理，确保了不同模型和硬件平台间的一致性结果。

ABSTRACT

A concise and measurable set of FAIR (Findable, Accessible, Interoperable and Reusable) principles for scientific data is transforming the state-of-practice for data management and stewardship, supporting and enabling discovery and innovation. Learning from this initiative, and acknowledging the impact of artificial intelligence (AI) in the practice of science and engineering, we introduce a set of practical, concise, and measurable FAIR principles for AI models. We showcase how to create and share FAIR data and AI models within a unified computational framework combining the following elements: the Advanced Photon Source at Argonne National Laboratory, the Materials Data Facility, the Data and Learning Hub for Science, and funcX, and the Argonne Leadership Computing Facility (ALCF), in particular the ThetaGPU supercomputer and the SambaNova DataScale system at the ALCF AI Testbed. We describe how this domain-agnostic computational framework may be harnessed to enable autonomous AI-driven discovery.

研究动机与目标

• 为科学研究所用的AI模型建立实用、可度量的FAIR原则。
• 展示如何利用现有科学数据基础设施发布和共享FAIR AI模型及FAIR、AI就绪的数据集。
• 构建一个与领域无关的计算框架，统一数据、AI模型和高性能计算，实现自主、可复现的AI驱动科学发现。
• 通过容器化和无服务器函数编排（funcX）实现FAIR AI模型的广泛访问与可用性。
• 将不确定性量化集成到AI模型中，以提升科学应用中的可靠性、可解释性和统计稳健性。

提出的方法

• 作者定义了一套适用于AI模型的新FAIR原则，将原始数据的FAIR原则扩展至包含模型特定元数据、溯源信息和可访问性标准。
• 利用材料数据设施（MDF）以HDF5格式发布FAIR且AI就绪的实验数据集，通过BDBags和minids实现版本控制，保障溯源性和完整性。
• 在DLHub上发布FAIR AI模型，配备标准化元数据、模型卡片和示例推理笔记本，确保可重用性和透明度。
• 计算框架通过funcX编排实现按需推理，将DLHub托管的模型与MDF托管的数据集连接至ALCF的ThetaGPU超算和SambaNova RDU系统。
• 将模型容器从Docker转换为Apptainer（Singularity），以确保在要求非根执行的HPC系统上的兼容性和安全性。
• 在每个AI模型中嵌入不确定性量化指标，用于评估预测的可靠性，并支持科学验证。

实验结果

研究问题

• RQ1 如何在实用、可度量且可操作的层面上，将FAIR原则从数据有意义地扩展到AI模型，以适用于科学AI？
• RQ2 一个整合数据、AI模型和高性能计算的统一计算框架，能否实现可复现、可扩展且自主的AI驱动科学发现？
• RQ3 在存在容器化限制的情况下，如何安全高效地在ThetaGPU和SambaNova RDU等HPC系统上执行FAIR AI模型？
• RQ4 AI模型中嵌入的不确定性量化指标，在多大程度上提升了高能衍射显微术中预测的可靠性和可解释性？
• RQ5 非专家用户是否能通过标准化、用户友好的笔记本和共享基础设施成功复现AI推理结果？

主要发现

• 作者成功对高能衍射显微术的实验数据集进行了FAIR化处理，并通过材料数据设施（MDF）以HDF5格式发布，使用BDBags和minids实现完整溯源。
• 三种FAIR AI模型（BraggNN变体）在DLHub上发布，配备标准化元数据、模型卡片和示例推理笔记本，确保了可重用性和透明度。
• 计算框架在ThetaGPU上执行时，实现了跨模型的一致且可复现的AI推理结果，与本地直接执行结果一致。
• 嵌入模型中的不确定性量化指标提供了可靠的置信度估计，增强了预测的可解释性和科学可信度。
• 非开发人员通过Jupyter笔记本和ALCF资源分配成功复现了所有结果，证实了该框架的可用性和可访问性。
• 从Docker到Apptainer容器的转换实现了在ALCF HPC系统上的安全非根执行，克服了部署限制。