[論文レビュー] Molformer: Motif-based Transformer on 3D Heterogeneous Molecular Graphs

Fang Wu, Dragomir Radev+1 more|arXiv (Cornell University)|Oct 4, 2021

Machine Learning in Materials Science被引用数 7

ひとこと要約

Molformerは、機能性基団と強化学習を用いてモチーフを発見する手法を統合することで、原子レベルとモチーフレベルのノードを統合した新しい3次元非均質分子グラフ（HMG）フレームワークを提案する。マルチスケールモデリングとアテンションを重視した最遠点サンプリングを備えた非均質的自己注意Transformerを採用し、量子化学、生理学、バイオフィジックスのベンチマークにおいて最先端または競争力のある性能を達成する。

ABSTRACT

Procuring expressive molecular representations underpins AI-driven molecule design and scientific discovery. The research mainly focuses on atom-level homogeneous molecular graphs, ignoring the rich information in subgraphs or motifs. However, it has been widely accepted that substructures play a dominant role in identifying and determining molecular properties. To address such issues, we formulate heterogeneous molecular graphs (HMGs), and introduce a novel architecture to exploit both molecular motifs and 3D geometry. Precisely, we extract functional groups as motifs for small molecules and employ reinforcement learning to adaptively select quaternary amino acids as motif candidates for proteins. Then HMGs are constructed with both atom-level and motif-level nodes. To better accommodate those HMGs, we introduce a variant of Transformer named Molformer, which adopts a heterogeneous self-attention layer to distinguish the interactions between multi-level nodes. Besides, it is also coupled with a multi-scale mechanism to capture fine-grained local patterns with increasing contextual scales. An attentive farthest point sampling algorithm is also proposed to obtain the molecular representations. We validate Molformer across a broad range of domains, including quantum chemistry, physiology, and biophysics. Extensive experiments show that Molformer outperforms or achieves the comparable performance of several state-of-the-art baselines. Our work provides a promising way to utilize informative motifs from the perspective of multi-level graph construction.

研究の動機と目的

• 既存のGNNが原子レベルのグラフにのみ注目し、情報量の多い分子サブ構造（モチーフ）を無視するという限界を是正すること。
• 原子レベルとモチーフレベルのノードを統合した1つの3次元非均質分子グラフ（HMG）に統合する包括的フレームワークの開発。
• 複数のグラフレベル間の相互作用をモデル化しつつも、3次元幾何的情報を保持できるTransformerベースのアーキテクチャの設計。
• タンパク質に対して強化学習を用いてタスク固有のモチーフを発見し、小分子に対しては化学的に定義された機能性基団を活用することで、分子表現学習の向上。
• 提案されたHMGとMolformerの有効性を、多様な分子性質予測タスクにおいて検証すること。

提案手法

• 小分子の機能性基団やタンパク質の強化学習で発見された四級アミノ酸配列を用いて、原子レベルのノードとモチーフレベルのノードを含む非均質分子グラフ（HMG）を構築する。
• Transformerエンコーダー内で異なるノードタイプ（原子対モチーフ）の間で注意を区別し、計算する非均質的自己注意（HSA）メカニズムを導入する。
• 受容 field のサイズを段階的に拡大することで、局所的なパターンを捉え、細かな構造的詳細をモデル化するマルチスケール機構を実装する。
• ノード特徴をグローバルな分子表現にダウンサンプリングおよび集約するためのアテンションを重視した最遠点サンプリング（AFPS）アルゴリズムを提案する。
• タンパク質配列においてタスク関連のモチーフ候補を発掘するため、強化学習を用い、下流の予測性能を最適化する。
• Molformerアーキテクチャに入力する前に、原子特徴を学習可能なベクトルに埋め込むために多層パーセプトロン（MLP）を適用する。

実験結果

リサーチクエスチョン

• RQ1 3次元非均質グラフに分子モチーフを明示的なノードとして統合することで、均一な原子レベルグラフと比較して分子表現学習が向上するか？
• RQ2 強化学習に基づくモチーフマイニング戦略は、タンパク質配列における生物学的に関連性のあるサブ構造を特定するのにどの程度有効か？
• RQ3 原子ノードとモチーフノードを区別する非均質的自己注意メカニズムは、分子性質予測の性能向上に寄与するか？
• RQ4 マルチスケールモデリングは、分子グラフにおける局所的および長距離の構造的依存関係をどの程度効果的に捉えるか？
• RQ5 提案されたアテンションを重視した最遠点サンプリング（AFPS）アルゴリズムは、標準的なプーリングやアテンションベースの集約手法と比較して、グローバルな分子表現の学習においてどの程度優れているか？

主な発見

• Molformerは、QM7、BBBP、およびその他のバイオフィジカルデータセットを含む多様な分子性質予測ベンチマークで、最先端のベースラインと同等またはそれ以上の性能を示した。
• アブレーションスタディの結果、4つの機能性基団カテゴリー（炭化水素、ハロアルカン、酸素含有、窒素含有）を追加することで一貫した性能向上が確認され、特に炭化水素が最も顕著な寄与を示した。
• 強化学習に基づくモチーフマイニング手法により、結合ポケット内でのモチーフ出現率が1.38％に達し、他の領域と比較してほぼ2倍の頻度を示しており、生物学的関連性を示唆した。
• 非均質的自己注意メカニズムにより、原子とモチーフ間のクロスレベル相互作用が効果的にモデル化され、表現品質の向上が達成された。
• AFPSアルゴリズムはノード特徴を効果的に集約し、強固なグローバルな分子表現を生成し、モデルの一般化性能向上に寄与した。
• 明示的なモチーフノードを含むHMGの定式化は、多層特徴の単純な統合よりも顕著な性能向上をもたらし、設計選択の妥当性を裏付けた。