[논문 리뷰] AugLiChem: Data Augmentation Library of Chemical Structures for Machine Learning

Rishikesh Magar, Yuyang Wang외 5명|arXiv (Cornell University)|2021. 11. 29.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 분자 및 결정성 재료에 대한 머신러닝 모델의 성능을 햖스하기 위해 다양한 화학적으로 타당한 구조적 변형을 생성하는 파이썬 기반의 데이터 증강 라이브러리인 AugLiChem을 소개한다. 분자 그래프에 대해 노드 마스킹 및 결합 삭제와 같은 그래프 수준의 변환을 적용하고, 결정에 대해 구조적 편향을 가해, 저자들은 여러 벤치마크 데이터셋에서 성능 향상을 입증하였으며, 특히 그래프 신경망(GNN)에서 ROC-AUC 및 정규화된 RMSE 향상이 뚜렷했다.

ABSTRACT

Machine learning (ML) has demonstrated the promise for accurate and efficient property prediction of molecules and crystalline materials. To develop highly accurate ML models for chemical structure property prediction, datasets with sufficient samples are required. However, obtaining clean and sufficient data of chemical properties can be expensive and time-consuming, which greatly limits the performance of ML models. Inspired by the success of data augmentations in computer vision and natural language processing, we developed AugLiChem: the data augmentation library for chemical structures. Augmentation methods for both crystalline systems and molecules are introduced, which can be utilized for fingerprint-based ML models and Graph Neural Networks(GNNs). We show that using our augmentation strategies significantly improves the performance of ML models, especially when using GNNs. In addition, the augmentations that we developed can be used as a direct plug-in module during training and have demonstrated the effectiveness when implemented with different GNN models through the AugliChem library. The Python-based package for our implementation of Auglichem: Data augmentation library for chemical structures, is publicly available at: https://github.com/BaratiLab/AugLiChem.

연구 동기 및 목표

• 머신러닝에서 분자 및 결정성 재료 데이터셋의 제한적이고 노이즈가 많은 문제를 해결한다.
• 화학적 성질 예측에서의 데이터 부족 문제를 해결하기 위해 타겟된 데이터 증강 전략을 개발한다.
• 기존 머신러닝 워크플로우에 쉽게 통합할 수 있는 모듈러하고 오픈소스 파이썬 패키지로 설계한다.
• 다양한 머신러닝 벤치마크(분류 및 회귀 작업 포함)에서 그래프 기반 증강의 효과를 평가한다.
• 데이터 증강이 GNN 및 지문 기반 모델의 일반화 능력과 강건성, 특히 데이터가 적은 환경에서 향상됨을 입증한다.

제안 방법

• 원자 치환, 격자 왜곡, 초세포 확장 등을 포함한 결정성 재료에 대한 다섯 가지 다른 데이터 증강 전략을 개발하였다.
• 분자에 대해 노드 마스킹, 결합 삭제, 부분구조 제거와 같은 세 가지 그래프 수준의 증강 기법을 제안하였으며, 화학적 타당성을 유지하였다.
• 모든 증강 기법을 지문 기반 모델과 그래프 신경망(GNN)을 모두 지원하는 모듈러한 파이썬 패키지(AugLiChem)에 통합하였다.
• 평가 무결성과 데이터 泄露 방지를 위해 증강 기법을 훈련 세트에만 적용하였다.
• 다양한 데이터셋에서 표준 머신러닝 평가 프로토콜을 사용하였으며, k-폴드 교차검증 및 무작위 분할을 포함하였다.
• 분류 작업의 경우 ROC-AUC, 회귀 작업의 경우 정규화된 RMSE와 같은 표준 지표를 사용해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 그래프 수준의 데이터 증강 전략은 분자 및 결정성 재료의 성질 예측에서 GNN의 성능을 향상시킬 수 있는가?
• RQ2 노드 마스킹, 결합 삭제 등의 특정 증강 기법 중 어느 것이 다양한 화학적 데이터셋에서 가장 일관된 성능 향상을 이끌어내는가?
• RQ3 데이터 증강은 재료 과학에서 흔한 낮은 데이터 환경에서 머신러닝 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ4 통합된 플러그 앤 플레이 라이브러리는 기존 분자 및 결정 ML 워크플로우에 데이터 증강을 통합하는 데 효과적인가?
• RQ5 여러 증강 전략을 조합했을 때의 영향은 무엇이며, 수익 감소 현상이 발생하는가 아니면 상호 보완적 향상이 이루어지는가?

주요 결과

• 노드 마스킹과 결합 삭제는 대부분의 벤치마크에서 모델 성능 향상을 이끌었으며, 특히 Lipo 회귀 데이터셋에서 노드 마스킹가 뚜렷한 강점을 보였다.
• 노드 마스킹과 결합 삭제의 조합은 다섯 개의 분류 작업 중 네 개(BBBP, HIV, Tox21, SIDER)와 다섯 개의 회귀 작업 중 세 개에서 개별 전략보다 뛰어난 성능을 보였다.
• 부분구조 제거는 전반적으로 성능 향상이 제한적이었지만, BACE 및 MUV 데이터셋에서는 경쟁력 있는 성능을 기록하여 작업별로 특화된 유용성을 보였다.
• 세 가지 분자 그래프 증강 기법(NM+BD+SR)을 모두 조합한 경우, 단순한 조합보다 성능이 열 劣하므로 원래 그래프에서의 과도한 구조적 이탈이 원인일 가능성이 높다.
• AugLiChem의 사용은 다섯 개인 결정성 재료 데이터셋에서 GNN 성능을 크게 향상시켰으며, 네 가지 다른 GNN 아키텍처에서 일관된 성능 향상을 입증하였다.
• 오픈소스인 AugLiChem 패키지는 기존 머신러닝 파ip라인에 쉽게 통합할 수 있으며, 자동 데이터 처리, 결측치 보정, 단일 및 다중 타겟 학습 지원을 제공한다.