[論文レビュー] Attention-Based Learning on Molecular Ensembles

Kangway V. Chuang, Michael J. Keiser|arXiv (Cornell University)|Nov 25, 2020

Machine Learning in Materials Science参考文献 24被引用数 5

ひとこと要約

本論文は、分子コンフォーメーションをグラフニューラルネットワーク（GNN）で符号化し、アテンション機構を用いてコンフォーメーショナルアンサンブルをセットレベルの表現に統合するエンドツーエンドのディーブラーニングフレームワークを提案する。リガンドベースのバーチャルスクリーニングにおいて、重要なバイオアクティブコンフォーメーションを特定する際のトップ1精度は80.7%に達し、低エネルギーポーズベースライン（3.8%精度）を著しく上回った。これは、アテンションベースのプーリングが解釈可能で幾何学的感度を持つ分子表現学習の強力な手法であることを示している。

ABSTRACT

The three-dimensional shape and conformation of small-molecule ligands are critical for biomolecular recognition, yet encoding 3D geometry has not improved ligand-based virtual screening approaches. We describe an end-to-end deep learning approach that operates directly on small-molecule conformational ensembles and identifies key conformational poses of small-molecules. Our networks leverage two levels of representation learning: 1) individual conformers are first encoded as spatial graphs using a graph neural network, and 2) sampled conformational ensembles are represented as sets using an attention mechanism to aggregate over individual instances. We demonstrate the feasibility of this approach on a simple task based on bidentate coordination of biaryl ligands, and show how attention-based pooling can elucidate key conformational poses in tasks based on molecular geometry. This work illustrates how set-based learning approaches may be further developed for small molecule-based virtual screening.

研究の動機と目的

• リガンドベースのバーチャルスクリーニングにおいて、3次元幾何学的構造が重要であるがしばしば無視されるという課題に対処する。
• 単一のコンフォーメーションではなく、分子コンフォーメーションの集合から学習する、微分可能でエンドツーエンドのディーブラーニングモデルを構築する。
• アテンション機構を用いて、コンフォーメーショナルアンサンブル内での重要なバイオアクティブコンフォーメーションを解釈可能に同定する。
• アテンションベースのプーリングが、機能的に関連するポーズを同定する際、従来の低エネルギーコンフォーメーション選択法を上回ることを示す。
• セットベースのディーブラーニングを応用して、複雑な低分子性質および活性予測タスクの基盤を築く。

提案手法

• 各分子コンフォーメーションは、3次元座標と原子タイプからなる幾何学的および化学的特徴を学ぶグラフニューラルネットワーク（GNN）を用いて空間グラフとして符号化される。
• コンフォーメーショナルアンサンブルは、GNNで埋め込まれたインスタンスの集合として扱われ、アテンション機構がそれらを1つのセットレベル表現に統合する。
• アテンション機構は、タスクに最も関連するインスタンスに注目できるように、学習可能な重みをコンフォーメーション間で計算する。
• 全アーキテクチャはエンドツーエンド微分可能であり、分類または回帰のための特徴抽出とセット統合の共同最適化が可能である。
• モデルは、個々のコンフォーメーションラベルではなく、セットレベルのラベル（例：アクティブ／非アクティブ）のみが与えられる複数インスタンス学習（MIL）設定で訓練される。
• アテンション係数は予測と解釈可能性の両方で使用され、モデルの意思決定を駆動するコンフォーメーションを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 真のコンフォーメーションラベルが個々のコンフォーメーションに与えられない状況でも、エンドツーエンドのディーブラーニングモデルがコンフォーメーショナルアンサンブルから効果的に学習できるか？
• RQ2 アテンションベースのプーリングは、低エネルギーコンフォーメーションを選択する従来の方法を上回り、重要なバイオアクティブポーズを同定できるか？
• RQ3 セットベースモデルにおけるアテンション機構が、多様なアンサンブル内から正しい機能的関連コンフォーメーションを同定できる程度はどの程度か？
• RQ4 GNNとアテンションを用いて3次元幾何学的情報を統合することで、2次元フィンガープrintと比較して予測性能が向上するか？
• RQ5 アテンション機構が、バイオアクティブポーズに類似した構造的特徴を持つコンフォーメーションを強調することで、意味のある解釈可能性を提供できるか？

主な発見

• GNN + アテンションモデルは、100件のトレーニング例を用いたBIPY-MILデータセットで88.6%の精度を達成し、ECFP4フィンガープrintを用いたランダムフォレストベースラインと同等の性能を示した。
• 500件のトレーニング例を用いた場合、92.8%の精度を達成し、低データ環境下でも優れた性能を示した。
• 重要なバイオアクティブコンフォーメーションの同定において、アテンション機構は80.7%のトップ1精度を達成し、低エネルギーコンフォーメーション（3.8%精度）を著しく上回った。
• アテンション機構は、正確なキーコンフォーメーションが最もエネルギーが低くない場合でも、バイオアクティブなs-TRANSコンフォーメーションに近い二重結合角度を持つコンフォーメーションを正しく強調した。
• 真のネガティブケースでは、アテンション機構が最も類似した幾何学的特徴を持つコンフォーメーションに高い重みを割り当て続けたため、非バイオアクティブなセットに対してもロバストであることが示された。
• アテンション係数は、80.7%の正例で隠れた真の正解と整合するように、最も関連性の高いコンフォーメーションを明らかにする解釈可能なインサイトを提供した。