[論文レビュー] Symmetry-Informed Geometric Representation for Molecules, Proteins, and Crystalline Materials

Shengchao Liu, Weitao Du+11 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Theoretical and Applied Studies in Material Sciences and Geometry被引用数 8

ひとこと要約

この論文は、Geom3Dプラットフォームを介して分子・タンパク質・結晶材料の対称性を取り入れた幾何表現をベンチマークし、16モデルと14の事前学習手法を46データセットで比較し、アーキテクチャ・前処理・データ拡張の洞察を提供します。

ABSTRACT

Artificial intelligence for scientific discovery has recently generated significant interest within the machine learning and scientific communities, particularly in the domains of chemistry, biology, and material discovery. For these scientific problems, molecules serve as the fundamental building blocks, and machine learning has emerged as a highly effective and powerful tool for modeling their geometric structures. Nevertheless, due to the rapidly evolving process of the field and the knowledge gap between science (e.g., physics, chemistry, & biology) and machine learning communities, a benchmarking study on geometrical representation for such data has not been conducted. To address such an issue, in this paper, we first provide a unified view of the current symmetry-informed geometric methods, classifying them into three main categories: invariance, equivariance with spherical frame basis, and equivariance with vector frame basis. Then we propose a platform, coined Geom3D, which enables benchmarking the effectiveness of geometric strategies. Geom3D contains 16 advanced symmetry-informed geometric representation models and 14 geometric pretraining methods over 46 diverse datasets, including small molecules, proteins, and crystalline materials. We hope that Geom3D can, on the one hand, eliminate barriers for machine learning researchers interested in exploring scientific problems; and, on the other hand, provide valuable guidance for researchers in computational chemistry, structural biology, and materials science, aiding in the informed selection of representation techniques for specific applications.

研究の動機と目的

• 対称性を取り入れた幾何学的手法の統一的な見解を提供する（不変性、球面フレーム基底を用いるSE(3)-等変、ベクトルフレーム基底を用いるSE(3)-等変）。
• Geom3Dを導入して小分子、タンパク質、結晶材料にわたる幾何表現をベンチマークする。
• 科学問題の幾何学的学習におけるモデルおよびデータ前処理/最適化のトリックを公正かつ一貫して評価可能にする。
• 幾何表現の事前学習戦略をベンチマークし、タスク間の転移性を評価する。

提案手法

• フレームベースの視点で、幾何学的手法を不変、球面フレーム基底を用いるSE(3)-等変、ベクトルフレーム基底を用いるSE(3)-等変に分類する。
• Geom3Dを提供し、PyTorch Geometricベースのプラットフォームとして16モデルと14の事前学習手法を46データセットでベンチマークする。
• 小分子（QM9、MD17、COLL）、タンパク質（EC、Fold）、結晶材料（MatBench、QMOF）の領域を横断して評価する。
• エネルギー/力の正規化、学習率、シードなどのデータ前処理と最適化の工夫を検討し、その影響を報告する。
• 既存の幾何学的事前学習手法（GeoSSL、GraphMVP、3D InfoMax など）を調査し、単一モダリティおよび多モーダル戦略について議論する。

実験結果

リサーチクエスチョン

• RQ1 不変表現とSE(3)-等変表現は、多様な分子・タンパク質・材料タスク間でどのように比較されるか？
• RQ2 データ前処理と学習トリックは対称性を取り入れた幾何モデルの性能にどのような影響を与えるか？
• RQ3 どの事前学習戦略が下流の量子/機械的タスクの3D幾何表現を最も改善するか？
• RQ4 結晶・周期構造のデータ拡張およびフレームベースの基底の違いはモデル性能にどのように影響するか？
• RQ5 Geom3Dは特定の応用分野で表現手法を選択する実務家へどのような指針を提供できるか？

主な発見

モデル	α↓	∇E↓	E_HOMO↓	E_LUMO↓	μ↓	C_v↓	G↓	H↓	R^2↓	U↓	U0↓	ZPVE↓	α0^3 meV↓
1D FPs MLP	2.231	196.72	131.27	164.94	0.526	0.919	2158.64	2358.23	68.621	2340.61	2314.77	155.921	2.???
1D FPs RF	3.801	207.02	165.72	183.04	0.534	1.485	3391.79	3729.94	94.512	3705.75	3678.25	253.132	2.???
1D FPs XGB	2.748	199.71	139.88	165.43	0.516	1.062	2563.93	2804.27	82.959	2786.28	2769.29	180.989	2.???
1D SMILES CNN	0.364	165.22	124.65	114.81	0.566	0.173	156.66	170.59	20.403	166.18	169.89	10.070	0.???
BERT	0.313	117.50	84.93	98.88	0.446	0.176	170.01	183.43	18.002	183.84	188.60	13.410	0.???

• 全タスクでの唯一の最適モデルは存在しない。PaiNN、GemNet、SphereNet は広く良好な性能を示すが、計算コストのトレードオフがある。
• 3Dコンフォメーションは1D/2Dモデルと比較して量子性質予測の性能を大きく向上させる。
• データ正規化と慎重な前処理はタスクを跨いで性能を大きく向上させる。
• 幾何学的事前学習（例：MoleculeSDE、GeoSSL-DDM）はQM9の下流タスクでしばしば他を上回るが、教師あり事前学習はその対象目的で優れる。
• 結晶タスクではデータ拡張の追加よりもデータ拡張の取得が一般的に良好な結果をもたらす。
• MatBenchおよびQMOFタスクにおけるモデル性能は概ね類似しており、PaiNN、GemNet、Equiformerが一部タスクで他をやや凌ぐ。