[논문 리뷰] Symmetry-Informed Geometric Representation for Molecules, Proteins, and Crystalline Materials

Shengchao Liu, Weitao Du외 11명|arXiv (Cornell University)|2023. 06. 15.

Advanced Theoretical and Applied Studies in Material Sciences and Geometry인용 수 8

한 줄 요약

본 논문은 Geom3D 플랫폼을 통해 분자, 단백질, 결정 물질에 대한 대칭성 정보를 반영한 기하적 표현을 벤치마킹하고, 46개 데이터셋에서 16개 모델과 14개의 프리트레이닝 방법을 비교하며, 아키텍처, 전처리 및 데이터 증강에 대한 통찰을 제공합니다.

ABSTRACT

Artificial intelligence for scientific discovery has recently generated significant interest within the machine learning and scientific communities, particularly in the domains of chemistry, biology, and material discovery. For these scientific problems, molecules serve as the fundamental building blocks, and machine learning has emerged as a highly effective and powerful tool for modeling their geometric structures. Nevertheless, due to the rapidly evolving process of the field and the knowledge gap between science (e.g., physics, chemistry, & biology) and machine learning communities, a benchmarking study on geometrical representation for such data has not been conducted. To address such an issue, in this paper, we first provide a unified view of the current symmetry-informed geometric methods, classifying them into three main categories: invariance, equivariance with spherical frame basis, and equivariance with vector frame basis. Then we propose a platform, coined Geom3D, which enables benchmarking the effectiveness of geometric strategies. Geom3D contains 16 advanced symmetry-informed geometric representation models and 14 geometric pretraining methods over 46 diverse datasets, including small molecules, proteins, and crystalline materials. We hope that Geom3D can, on the one hand, eliminate barriers for machine learning researchers interested in exploring scientific problems; and, on the other hand, provide valuable guidance for researchers in computational chemistry, structural biology, and materials science, aiding in the informed selection of representation techniques for specific applications.

연구 동기 및 목표

• 대칭성 정보를 반영한 기하적 방법의 단일 시각화 제공(불변성, 구면 프레임 기저를 갖는 SE(3)-등가모형, 벡터 프레임 기저를 갖는 SE(3)-등가모형).
• 소분자, 단백질, 결정 물질 간의 기하 표현 벤치마킹을 위한 Geom3D 도입.
• 기하 학습에서 과학 문제를 위한 모델, 데이터 전처리/최적화 트릭의 공정하고 일관된 평가 가능하게 하기.
• 기하 표현의 프리트레이닝 전략 벤치마킹 및 작업 간 전이 가능성 평가.

제안 방법

• 프레임 기반 관점으로 불변, 구면 프레임 기저를 갖는 SE(3)-등가모형, 벡터 프레임 기저를 갖는 SE(3)-등가모형으로 기하학적 방법 분류.
• Geom3D를 제공, PyTorch Geometric 기반 플랫폼으로 46개 데이터셋에서 16개 모델과 14개 프리트레이닝 방법 벤치마킹.
• 소분자(QM9, MD17, COLL), 단백질(EC, Fold), 결정 물질(MatBench, QMOF) 등 영역에서 평가.
• 에너지/힘 정규화, 학습률, 시드 등 데이터 전처리 및 최적화 트릭의 영향을 조사하고 보고.
• 기존 기하 프리트레이닝 접근법(GEOSSL, GraphMVP, 3D InfoMax 등)을 조사하고 단일 모달 및 멀티 모달 전략을 논의.

실험 결과

연구 질문

• RQ1 불변성 기하 표현과 SE(3)-등가 기하 표현이 다양한 분자, 단백질 및 물질 작업에서 어떻게 비교되는가?
• RQ2 데이터 전처리 및 학습 트릭이 대칭성 정보를 반영하는 기하 모델의 성능에 어떤 영향을 미치는가?
• RQ3 다운스트림 양자/역학 작업을 위해 어떤 프리트레이닝 전략이 3D 기하 표현을 가장 잘 개선하는가?
• RQ4 다양한 데이터 증강 및 프레임 기저가 결정 물질과 주기적 구조의 모델 성능에 어떤 영향을 미치는가?
• RQ5 특정 응용에 맞춘 표현 기법 선택을 위해 Geom3D가 제공하는 실무 가이드는 무엇인가?

주요 결과

• 모든 작업에서 단일 최적의 기하 모델은 존재하지 않으며, PaiNN, GemNet, SphereNet이 넓은 범위에서 양호한 성능을 보이나 계산 시간에 trade-off가 있다.
• 3D 입체 형상은 1D/2D 모델에 비해 양자 속성 예측 성능을 크게 향상시킨다.
• 데이터 정규화 및 신중한 전처리로 성능이 크게 개선된다.
• 기하 프리트레이닝(MoleculeSDE, GeoSSL-DDM 등)은 QM9 다운스트림 작업에서 종종 다른 방법보다 성능이 우수하나, 감독형 프리트레이닝은 대상 목표에 대해 최상이다.
• 결정 재료 과제에 대해서는 일반적으로 데이터 증가가 확장 증가보다 더 나은 성과를 내는 경향이 있다.
• MatBench 및 QMOF 작업에서 모델 간 성능은 대체로 비슷하며, PaiNN, GemNet, Equiformer가 일부 작업에서 다소 우세한 경향을 보인다.