[論文レビュー] Generalist Equivariant Transformer Towards 3D Molecular Interaction Learning

Xiangzhe Kong, Wenbing Huang+1 more|arXiv (Cornell University)|Jun 2, 2023

Computational Drug Discovery Methods被引用数 4

ひとこと要約

本論文では、多様な3次元分子複合体を幾何学的グラフの集合として表現する統合的E(3)-等長モデル、Generalist Equivariant Transformer (GET) を提案する。これは、ブロックレベル（例：アミノ酸、ヌクレオベース）と原子レベルの構造を両方捉える。GETは二段階のアテンションと等長モジュールを用い、変動するサイズのブロック間で詳細な情報を保持し、クロスドメインの分子相互作用予測、特にゼロショットRNA/DNAリガンド親和性予測において最先端の性能を達成する。

ABSTRACT

Many processes in biology and drug discovery involve various 3D interactions between molecules, such as protein and protein, protein and small molecule, etc. Given that different molecules are usually represented in different granularity, existing methods usually encode each type of molecules independently with different models, leaving it defective to learn the various underlying interaction physics. In this paper, we first propose to universally represent an arbitrary 3D complex as a geometric graph of sets, shedding light on encoding all types of molecules with one model. We then propose a Generalist Equivariant Transformer (GET) to effectively capture both domain-specific hierarchies and domain-agnostic interaction physics. To be specific, GET consists of a bilevel attention module, a feed-forward module and a layer normalization module, where each module is E(3) equivariant and specialized for handling sets of variable sizes. Notably, in contrast to conventional pooling-based hierarchical models, our GET is able to retain fine-grained information of all levels. Extensive experiments on the interactions between proteins, small molecules and RNA/DNAs verify the effectiveness and generalization capability of our proposed method across different domains.

研究の動機と目的

• タンパク質、低分子、RNA/DNAの間で多様な3次元分子相互作用を統合的かつ汎用的に表現する手法の欠如に対処すること。
• 分野特化型モデルや階層的プーリングに基づくアプローチの限界、特に詳細な構造的情報を失う点を克服すること。
• 分野特化の階層と普遍的な相互作用の物理法則の両方を捉えることのできる単一の等長モデルを開発すること。
• 特にRNA/DNAリガンド結合親和性予測において、ゼロショットの転移学習を可能にすること。
• 統合的幾何学的グラフ表現において、ブロックレベルの特異性と原子レベルの共有性を両立させること。

提案手法

• 幾何学的グラフの集合表現を提案：分子のブロック（例：アミノ酸、ヌクレオベース）を頂点とする上位グラフで、各ブロックは原子の集合を含む。
• スパースなブロックレベル表現と密な原子レベル表現の両方に同時に注目する二段階アテンション機構を設計し、原子特徴を更新する。
• 各ブロック内での順列不変性と3次元回転、平行移動、反転に対する等長性を満たすE(3)-等長の前向き伝搬およびレイヤーナーマライゼーションモジュールを採用。
• ブロック内での順列不変性と、サイズが異なるブロック間でのサイズに依存しない処理を確保。
• 階層的プーリングを用いない、統合的トランスフォーマー・アーキテクチャにE(3)-等長モジュールを適用し、二段階の幾何学的グラフを処理。
• 混合データセット上でエンドツーエンドに学習させ、分野間での転移学習とゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の統合的モデルが、タンパク質、低分子、RNA/DNAの間で多様な3次元分子複合体を効果的に表現し、学習できるか？
• RQ2 二段階の幾何学的グラフの集合表現は、従来の単一レベルまたは階層的アプローチに比べ、ブロックレベルの特異性と原子レベルの共有性をよりよく保持できるか？
• RQ3 E(3)-等長トランスフォーマーは、プーリングに基づく集約に依存せずに、詳細な構造的情報を保持できるか？
• RQ4 統合的モデルは、ゼロショット転移学習によって、RNA/DNAリガンド結合など未学習の分野にどの程度一般化できるか？
• RQ5 提案されたGETは、分野特化型、単一レベル、階層的モデルと比較して、分子相互作用親和性予測においてどのように優れているか？

主な発見

• GETは、タンパク質-タンパク質親和性予測において、0.697 ± 0.003のピアソン相関係数（最高）と0.555 ± 0.008のスピアーマン相関係数を達成し、すべてのベースラインを上回った。
• リガンド結合親和性予測では、1.327 ± 0.005の最小RMSE、0.620 ± 0.004の最大ピアソン相関係数、0.611 ± 0.003の最大スピアーマン相関係数を達成し、RNA/DNAリガンド系においても強いゼロショット性能を示した。
• 混合事前学習を施したモデル（GET-mix）は、すべてのベンチマークで最先端の結果を達成し、優れた一般化性能と転移性を示した。
• プーリングを用いる階層的モデルは詳細な情報を損なう傾向があるが、GETは原子レベルとブロックレベルの両方の表現を保持することで、それらを上回った。
• アブレーションスタディにより、二段階アテンションとE(3)-等長設計が、特に分野間転移において性能向上に不可欠であることが確認された。
• GETは、RNA/DNAリガンド結合親和性予測において強力なゼロショット一般化を示し、分野特化のパターンを超えた普遍的な相互作用物理法則を捉えている可能性を示唆した。