[論文レビュー] Equivariant Graph Attention Networks for Molecular Property Prediction

Tuan Le, Frank Noé+1 more|arXiv (Cornell University)|Feb 20, 2022

Computational Drug Discovery Methods被引用数 6

ひとこと要約

本稿では、回転および平行移動に対して等長性を保つ分子表現学習を実現するため、デカルト座標と空間的・コンテンツ指向の注意メカニズムを活用した新規GNNアーキテクチャ、等長的グラフ自己注意ネットワーク（EQGAT）を提案する。モデルは小分子における量子的性質予測において最先端の性能を達成し、タンパク質-リガンド結合親和性といった大規模バイオ分子タスクにおいても競争力のある結果を示す一方で、ベースラインの等長的GNNよりも高速な推論を実現するという計算効率性を兼ね備えている。

ABSTRACT

Learning and reasoning about 3D molecular structures with varying size is an emerging and important challenge in machine learning and especially in drug discovery. Equivariant Graph Neural Networks (GNNs) can simultaneously leverage the geometric and relational detail of the problem domain and are known to learn expressive representations through the propagation of information between nodes leveraging higher-order representations to faithfully express the geometry of the data, such as directionality in their intermediate layers. In this work, we propose an equivariant GNN that operates with Cartesian coordinates to incorporate directionality and we implement a novel attention mechanism, acting as a content and spatial dependent filter when propagating information between nodes. We demonstrate the efficacy of our architecture on predicting quantum mechanical properties of small molecules and its benefit on problems that concern macromolecular structures such as protein complexes.

研究の動機と目的

• 分子グラフにおける回転および平行移動に対する等長性を保ちながら、3次元幾何構造の情報を保持するGNNの開発。
• 新規の注意メカニズムを用いて方向性（空間的）および原子的（コンテンツ）情報をメッセージパッシングに統合することで、分子性質予測の精度を向上。
• 小分子をはるかに超える大規模な分子系、例えばタンパク質やタンパク質-リガンド複合体に対しても、スケーラブルかつ効率的な学習を可能にする。
• 低コストな計算負荷を維持しながら、多様な分子予測ベンチマークで最先端または競争力のある性能を達成すること。

提案手法

• モデルはデカルト座標に直接作用し、メッセージパッシングフレームワーク内での明示的な変換則によって、3次元回転および平行移動に対する等長性を保証する。
• 新規のグラフ自己注意メカニズムにより、エッジの注意重みが相対的位置（空間的）およびノード特徴量（コンテンツ）に依存し、適応的で幾何学的感度の高いメッセージパッシングを実現する。
• スカラーおよびベクトル表現（タイプ0およびタイプ1テンソル）を用いることで幾何的忠実性を維持し、テンソル場ネットワークで用いられる複雑な基底計算の必要性を回避する。
• メッセージパッシングは、空間的対称性における変換行動を保持するように、等長的アップデート則を用いて実行される。
• モデルはメッセージパッシングニューラルネットワーク（MPNN）フレームワーク内に実装されており、表現学習の強化を図るための注意ベースの集約が用いられている。
• 基底に基づく等長的GNNと比較して、直接デカルト空間で動作することで、基底構築を回避し、FLOPsおよびメモリ使用量を削減する。

実験結果

リサーチクエスチョン

• RQ1 空間的およびコンテンツ情報を統合的に符号化する注意メカニズムを備えたGNNが、標準的なGNNよりも優れた分子性質予測を達成できるか？
• RQ2 明示的な等長性を備えたデカルト座標空間での直接的処理が、基底に基づくテンソル場ネットワークよりも優れた性能と効率性をもたらすか？
• RQ3 等長的GNNがタンパク質やタンパク質-リガンド複合体といった大規模バイオ分子系に効果的にスケーリングできるか？
• RQ4 多様な分子ベンチマークにおいて、PaiNN や E(n)-GNN といった最先端の等長的GNNと比較して、EQGATは性能および推論速度で優位性を示せるか？

主な発見

• EQGATは小分子における量子的性質予測のベンチマークで最先端の性能を達成し、以前のGNNを上回っている。
• LBA（リガンド結合親和性）データセットでは、全体で最も高い性能を示す3D CNNでさえも上回る結果を達成した。
• EQGATは優れた計算効率性を示し、LBAでは23.67 ms、PSRでは42.79 ms、RSRでは54.80 msの推論時間を記録し、すべてのベンチマークでPaiNNおよびE(n)-GNNを上回っている。
• 推論速度の優位性は、PaiNNが使用するメモリ集約的ベクトル特徴量を避ける、直接的なデカルト空間実装に起因する。
• PaiNNがバイオポリマーのベンチマークで低い性能を示すのは、グラフサイズに比例して急増する3次元ベクトル特徴量の保存に起因する高メモリ使用量が原因である可能性が高い。
• 著者らは、リガンドおよびタンパク質の別個エンコーダーの導入が性能向上に寄与する可能性があると指摘しており、今後の研究の有望な方向性である。