[논문 리뷰] Accelerating Material Design with the Generative Toolkit for Scientific Discovery

Matteo Manica, Jannis Born외 22명|arXiv (Cornell University)|2022. 07. 08.

Machine Learning in Materials Science참고 문헌 59인용 수 5

한 줄 요약

GT4SD는 물성 과학 분야에서 최신 생성 모델을 표준화하고, 훈련, 추론, 배포를 지원하는 오픈소스로 확장 가능한 파이썬 툴킷입니다. 통합된 API, 모델 레지스트리, CLI 도구를 통해 광범위한 화학적 공간에서의 가설 생성을 가속화하여, 접근 장벽을 낮추고 재현 가능성과 협업을 촉진하며 과학을 위한 생성형 AI에 기여합니다.

ABSTRACT

With the growing availability of data within various scientific domains, generative models hold enormous potential to accelerate scientific discovery. They harness powerful representations learned from datasets to speed up the formulation of novel hypotheses with the potential to impact material discovery broadly. We present the Generative Toolkit for Scientific Discovery (GT4SD). This extensible open-source library enables scientists, developers, and researchers to train and use state-of-the-art generative models to accelerate scientific discovery focused on material design.

연구 동기 및 목표

• 매우 광범위한 화학적 공간(예: >10^33개 분자)으로 인해 수동 탐색이 불가능한 물질 발견 분야에서의 가설 생성 증가 문제를 해결합니다.
• VAE, GAN, GFN, 확산 모델과 같은 고급 생성 모델을 과학 연구에서 사용할 때의 계산적 비용과 전문 지식의 장벽을 낮춥니다.
• 다양한 생성 아키텍처 간의 모델 훈련, 추론, 배포 워크플로우를 표준화하여 상호운용성과 재현 가능성을 향상시킵니다.
• 모델 허브와 CLI 도구를 통해 공동체 기반의 모델 공유 및 미세조정을 가능하게 하여, 물질 및 약물 발견 분야에서의 개방 과학을 촉진합니다.
• 특성 예측 및 생성 모델링 파이프라인을 통합하여 원하는 특성을 가진 조건부 및 제어 가능한 분자 생성을 지원합니다.

제안 방법

• 생성 모델용 단일 응용 프로그램 레지스트리와 특성 예측자용 별도의 레지스트리를 갖춘 통합된 API를 구현하여 모델 고유의 실행 구현 세부 정보를 추상화합니다.
• 표준화된 계약을 사용한 추론 및 훈련 파이프라인 설계를 통해 모델 하이퍼파rameter, 훈련 파rameter, 데이터 파rameter를 위한 구성 데이터 클래스를 사용합니다.
• 모듈러하고 확장 가능한 아키텍처를 통해 조건부 생성, 제어 샘플링, 예측과 같은 다양한 생성 모델 유형을 지원합니다.
• 모델 버전 관리 및 캐싱을 위해 클라우드 객체 스토리지 통합을 통해 확장성 있고 분산형이며 컨테이너 기반의 모델 배포를 가능하게 합니다.
• 모델 수명 주기 관리를 단순화하기 위해 gt4sd-inference, gt4sd-trainer, gt4sd-saving, gt4sd-upload 등의 CLI 명령어를 제공합니다.
• Hugging Face 생태계를 영감으로 받아 Hugging Face Spaces를 통한 모델 카드 및 Gradio 앱을 활용해 모델 공유를 가능하게 하여 보다 넓은 접근성을 확보합니다.

실험 결과

연구 질문

• RQ1 비전문가 연구자들이 물성 과학 분야에서 생성 모델을 쉽게 사용할 수 있도록 표준화하고 추상화하는 방법은 무엇인가요?
• RQ2 어떤 아키텍처 패턴이 과학적 발견 분야에서 다양한 생성 모델(예: VAE, GAN, GFN, 확산 모델)의 효율적이고 재현 가능하며 상호운용 가능한 훈련 및 추론을 가능하게 하나요?
• RQ3 통합된 툴킷이 사전 훈련된 생성 모델을 사용하는 과학 공동체 간의 협업, 모델 공유, 미세조정을 얼마나 향상시킬 수 있나요?
• RQ4 모델 평가 및 편향 분석을 과학적 응용을 위한 생성 모델링 파이프라인에 체계적으로 통합할 수 있는가요?
• RQ5 CLI 기반의 클라우드 통합 툴킷이 과학적 발견 분야에서 커스텀 데이터셋 훈련에서 공개 모델 공유에 이르기까지 종단 간 워크플로우를 효과적으로 지원할 수 있나요?

주요 결과

• GT4SD는 최신 생성 모델을 훈련, 배포, 공유할 수 있도록 최소한의 코드 복잡도로 물질 발견을 위한 표준화된 오픈소스 프레임워크를 제공합니다.
• 통합된 API와 구성 시스템을 통해 VAE, GAN, GFN, 확산 모델과 같은 다양한 생성 아키텍처를 지원하여 상호운용성과 재사용성을 향상시킵니다.
• gt4sd-trainer 및 gt4sd-upload 등의 CLI 도구를 통해 사용자는 커스텀 데이터셋으로 모델을 재훈련하고 모델 허브를 통해 새로운 모델 버전을 공유할 수 있으며, 공동체 기반의 모델 진화를 가능하게 합니다.
• 사전 훈련된 생성 모델과 특성 예측기는 GT4SD 라이브러리를 통해 직접 다운로드 및 사용할 수 있으며, Hugging Face Spaces에 호스팅된 Gradio 기반 웹 인터페이스를 통해 접근할 수 있습니다.
• 중앙 집중식 버전 관리 모델 레지스트리와 클라우드 기반 캐싱을 통해 모델 로딩 및 추론을 추상화함으로써 저수준 모델 코드에 대한 의존도를 줄였습니다.
• GT4SD의 아키텍처는 컨테이너화 및 분산 컴퓨팅을 지원하여 확장 가능한 배포와 고성능 과학 워크플로우에의 통합을 가능하게 합니다.