[논문 리뷰] FAIR principles for AI models with a practical application for accelerated high energy diffraction microscopy

Nikil Ravi, Pranshu Chaturvedi외 8명|arXiv (Cornell University)|2022. 07. 01.

Research Data Management Practices인용 수 5

한 줄 요약

이 논문은 고에너지 회절 미세촬영에서 AI 모델의 실용적이고 측정 가능한 FAIR 원칙(찾을 수 있는, 접근 가능한, 상호운용 가능한, 재사용 가능한)을 도입하며, 통합된 계산 프레임워크를 통해 이를 적용하여 연구 속도를 가속화한다. DLHub, MDF, funcX, ALCF 자원을 통합함으로써 저자들은 고성능 계산 시스템에서 재현 가능하고 불확실성 정량화가 가능한 AI 추론을 실현하였으며, 다양한 모델과 하드웨어 플랫폼 간에 일관된 결과를 달성하였다.

ABSTRACT

A concise and measurable set of FAIR (Findable, Accessible, Interoperable and Reusable) principles for scientific data is transforming the state-of-practice for data management and stewardship, supporting and enabling discovery and innovation. Learning from this initiative, and acknowledging the impact of artificial intelligence (AI) in the practice of science and engineering, we introduce a set of practical, concise, and measurable FAIR principles for AI models. We showcase how to create and share FAIR data and AI models within a unified computational framework combining the following elements: the Advanced Photon Source at Argonne National Laboratory, the Materials Data Facility, the Data and Learning Hub for Science, and funcX, and the Argonne Leadership Computing Facility (ALCF), in particular the ThetaGPU supercomputer and the SambaNova DataScale system at the ALCF AI Testbed. We describe how this domain-agnostic computational framework may be harnessed to enable autonomous AI-driven discovery.

연구 동기 및 목표

• 과학적 연구를 위한 AI 모델에 특화된 실용적이고 측정 가능한 FAIR 원칙을 수립하기 위해.
• 기존 과학적 데이터 인프라를 활용하여 FAIR 원칙을 적용한 AI 모델과 FAIR, AI 준비 상태인 데이터셋을 게재하고 공유할 수 있는 방법을 보여주기 위해.
• 데이터, AI 모델, 고성능 계산을 통합하는 도메인에 관계없이 적용 가능한 계산 프레임워크를 구축하여 자율적이고 재현 가능한 AI 기반 발견을 가능하게 하기 위해.
• 컨테이너화와 서버리스 함수 오케스트레이션(funcX)을 통해 FAIR AI 모델의 광범위한 접근성과 사용 가능성을 보장하기 위해.
• AI 모델에 불확실성 정량화를 통합하여 과학적 응용 분야에서 신뢰성, 해석 가능성, 통계적 강건성을 향상시키기 위해.

제안 방법

• 저자들은 원래 데이터를 위한 FAIR 원칙을 확장하여 모델 전용 메타데이터, 기원, 접근성 표준을 포함하는 실용적인 AI 모델 FAIR 원칙의 새로운 세트를 정의한다.
• 실험적 데이터셋을 Materials Data Facility(MDF)를 통해 HDF5 형식으로 게재하며, 기원과 무결성을 확보하기 위해 BDBags와 minids를 사용하여 버전 관리한다.
• FAIR AI 모델는 DLHub에 표준화된 메타데이터, 모델 카드, 예제 추론 노트북을 함께 게재하여 재사용성과 투명성을 보장한다.
• 계산 프레임워크는 funcX를 통해 DLHub에 호스팅된 모델과 MDF에 호스팅된 데이터셋을 ThetaGPU 슈퍼컴퓨터와 ALCF의 SambaNova RDU에 연결하여 온디맨드 추론을 오케스트레이션한다.
• 모델 컨테이너를 Docker에서 Apptainer(Singularity)로 변환하여 HPC 시스템에서 비-루트 실행이 요구되는 환경에서도 호환성과 보안을 확보한다.
• 모든 AI 모델에 불확실성 정량화 지표를 통합하여 예측의 신뢰성 평가 및 과학적 검증 지원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 과학적 AI 연구에서 데이터에서 AI 모델로 FAIR 원칙을 실용적이고 측정 가능하며 실행 가능한 방식으로 의미 있게 확장할 수 있는가?
• RQ2 데이터, AI 모델, 고성능 계산을 통합한 통합된 계산 프레임워크가 재현 가능하고 확장 가능하며 자율적인 AI 기반 발견을 가능하게 하는가?
• RQ3 컨테이너화 제약 조건이 존재하는 경우, FAIR AI 모델를 ThetaGPU 및 SambaNova RDU와 같은 HPC 시스템에서 안전하고 효율적으로 실행할 수 있는가?
• RQ4 AI 모델에 통합된 불확실성 정량화 지표가 고에너지 회절 미세촬영에서 예측의 신뢰성과 해석 가능성에 얼마나 기여하는가?
• RQ5 비전문가 사용자가 표준화된 사용자 友好的 노트북과 공유된 인프라를 통해 AI 추론 결과를 성공적으로 재현할 수 있는가?

주요 결과

• 저자들은 고에너지 회절 미세촬영에서 유래한 실험적 데이터셋을 Materials Data Facility를 통해 BDBags와 minids를 사용하여 기원을 완전히 확보한 상태에서 HDF5 형식으로 FAIR화하여 게재하였다.
• BraggNN 변종 3종의 FAIR AI 모델가 표준화된 메타데이터, 모델 카드, 예제 추론 노트북을 함께 게재하여 재사용성과 투명성을 확보하고 DLHub에 게시하였다.
• 계산 프레임워크는 ThetaGPU에서 실행되었을 때도 모델 간에 일관되고 재현 가능한 AI 추론 결과를 달성하였으며, 직접 로컬 실행 결과와 일치하였다.
• 모델에 통합된 불확실성 정량화 지표는 신뢰성 있는 신뢰도 추정을 제공하여 예측의 해석 가능성과 과학적 신뢰도를 향상시켰다.
• 비개발자 사용자들이 Jupyter 노트북과 ALCF 할당 자원을 활용하여 모든 결과를 성공적으로 재현하였으며, 이는 프레임워크의 사용성과 접근 가능성의 확인을 보여주었다.
• Docker에서 Apptainer 컨테이너로의 전환은 ALCF HPC 시스템에서 안전하고 비-루트 실행을 가능하게 하여 배포 제약을 극복하였다.