[論文レビュー] FAIR principles for AI models with a practical application for accelerated high energy diffraction microscopy

Nikil Ravi, Pranshu Chaturvedi+8 more|arXiv (Cornell University)|Jul 1, 2022

Research Data Management Practices被引用数 5

ひとこと要約

本論文は、AIモデルにおける実用的で測定可能なFAIR原則（Findable, Accessible, Interoperable, Reusable）を導入し、統合された計算フレームワークを用いて高エネルギー回折顕微鏡の高速化を実証した。DLHub、MDF、funcX、ALCFリソースを統合することで、高性能計算システム上で再現可能で不確実性を定量化したAI推論を可能にし、モデルやハードウェアプラットフォームを問わず一貫した結果を達成した。

ABSTRACT

A concise and measurable set of FAIR (Findable, Accessible, Interoperable and Reusable) principles for scientific data is transforming the state-of-practice for data management and stewardship, supporting and enabling discovery and innovation. Learning from this initiative, and acknowledging the impact of artificial intelligence (AI) in the practice of science and engineering, we introduce a set of practical, concise, and measurable FAIR principles for AI models. We showcase how to create and share FAIR data and AI models within a unified computational framework combining the following elements: the Advanced Photon Source at Argonne National Laboratory, the Materials Data Facility, the Data and Learning Hub for Science, and funcX, and the Argonne Leadership Computing Facility (ALCF), in particular the ThetaGPU supercomputer and the SambaNova DataScale system at the ALCF AI Testbed. We describe how this domain-agnostic computational framework may be harnessed to enable autonomous AI-driven discovery.

研究の動機と目的

• 科学的研究におけるAIモデルに特化した実用的で測定可能なFAIR原則を確立すること。
• 既存の科学的データインfraストラクチャを用いて、FAIRなAIモデルおよびFAIRでAIに適したデータセットを公開・共有できるかを実証すること。
• データ、AIモデル、ハイパフォーマンスコンピューティングを統合するドメインに依存しない計算フレームワークを構築し、自律的かつ再現可能なAI駆動型発見を可能にすること。
• コンテナ化とサーバーヲス関数オーケストレーション（funcX）を通じて、FAIRなAIモデルの広範なアクセス性と利用可能性を実現すること。
• AIモデルに不確実性の定量化を統合し、科学的応用における信頼性、解釈可能性、統計的頑健性を向上させること。

提案手法

• 著者らは、データ向けの元来のFAIR原則を拡張し、AIモデル固有のメタデータ、プロバンス、アクセス性基準を含む、AIモデル向けの新しい実用的FAIR原則を定義した。
• Materials Data Facility (MDF) を用いて、BDBagsおよびminidsを用いてプロバンスと整合性を保証したHDF5形式のFAIRかつAIに適した実験データセットを公開した。
• FAIRなAIモデルはDLHubに公開され、標準化されたメタデータ、モデルカード、および例示用の推論ノートブックを備え、再利用性と透明性を確保した。
• 計算フレームワークは、funcXを統合し、DLHubにホスティングされたモデルとMDFにホスティングされたデータセットを、ThetaGPUスパコンおよびALCFのSambaNova RDUに接続することで、オンデマンド推論をオーケストレーションした。
• モデルコンテナをDockerからApptainer（Singularity）に変換し、HPCシステムで非ルート実行を要件とする環境での互換性とセキュリティを確保した。
• 各AIモデルに不確実性の定量化メトリクスを埋め込み、予測の信頼性を評価し、科学的検証を支援した。

実験結果

リサーチクエスチョン

• RQ1 科学的AIにおいて、データからAIモデルへFAIR原則を意味的に拡張する方法は何か？その拡張は、実用的で測定可能かつ実行可能であるか？
• RQ2 データ、AIモデル、ハイパフォーマンスコンピューティングを統合した統一された計算フレームワークは、再現可能でスケーラブルかつ自律的なAI駆動型発見を可能にするか？
• RQ3 コンテナ化の制約がある状況下でも、ThetaGPUやSambaNova RDUのようなHPCシステム上で、FAIRなAIモデルを安全かつ効率的に実行できるか？
• RQ4 AIモデルに組み込まれた不確実性の定量化メトリクスは、高エネルギー回折顕微鏡の予測の信頼性と解釈可能性をどの程度向上させるか？
• RQ5 非専門家ユーザーが標準化された使いやすいノートブックと共有インフラストラクチャを用いて、AI推論の結果を成功裏に再現できるか？

主な発見

• 著者らは、高エネルギー回折顕微鏡の実験データセットをFAIR化し、BDBagsおよびminidsを用いて完全なプロバンスを保証したHDF5形式でMaterials Data Facility（MDF）を通じて公開した。
• BraggNNのバリエーション3つのFAIRなAIモデルが、標準化されたメタデータ、モデルカード、および例示用の推論ノートブックを備えてDLHubに公開され、再利用性と透明性が確保された。
• 計算フレームワークにより、ThetaGPU上で実行された場合、モデル間で一貫性があり再現可能なAI推論結果が得られ、ローカル直接実行時の結果と一致した。
• モデルに埋め込まれた不確実性の定量化メトリクスが、信頼性の高い信頼区間推定を提供し、予測に対する解釈可能性と科学的信頼性を向上させた。
• 非開発者もJupyterノートブックとALCFのリソース割り当てを用いて、すべての結果を成功裏に再現した。これにより、フレームワークの使いやすさとアクセス可能性が確認された。
• DockerからApptainerコンテナへの移行により、ALCFのHPCシステム上で安全かつ非ルート実行が可能になり、デプロイメントの制限を克服した。