[論文レビュー] SMILES-Mamba: Chemical Mamba Foundation Models for Drug ADMET Prediction

Bohao Xu, Yingzhou Lu+6 more|arXiv (Cornell University)|Aug 11, 2024

Computational Drug Discovery Methods被引用数 4

ひとこと要約

SMILES-Mamba は、ラベルなし SMILES 文字列における自己教師あり事前学習と、ラベル付き ADMET データセットにおける微調整を組み合わせた二段階型の分子基礎モデルであり、22 個の ADMET 予測タスクにおいて最先端の性能を達成した。14 タスクで首位、17 タスクで上位2位を記録し、薬物性状態予測における自己教師あり学習の有効性、特に大規模なラベル付きデータセットへの依存を低減する力が示された。

ABSTRACT

In drug discovery, predicting the absorption, distribution, metabolism, excretion, and toxicity (ADMET) properties of small-molecule drugs is critical for ensuring safety and efficacy. However, the process of accurately predicting these properties is often resource-intensive and requires extensive experimental data. To address this challenge, we propose SMILES-Mamba, a two-stage model that leverages both unlabeled and labeled data through a combination of self-supervised pretraining and fine-tuning strategies. The model first pre-trains on a large corpus of unlabeled SMILES strings to capture the underlying chemical structure and relationships, before being fine-tuned on smaller, labeled datasets specific to ADMET tasks. Our results demonstrate that SMILES-Mamba exhibits competitive performance across 22 ADMET datasets, achieving the highest score in 14 tasks, highlighting the potential of self-supervised learning in improving molecular property prediction. This approach not only enhances prediction accuracy but also reduces the dependence on large, labeled datasets, offering a promising direction for future research in drug discovery.

研究の動機と目的

• ラベルなしおよびラベル付きの分子データを活用することで、ADMET 性状態予測における高コストとデータ不足の課題に対処すること。
• 自己教師あり表現学習を用いて、薬物の吸収、分布、代謝、排泄、および毒性の予測精度を向上させること。
• 膨大な量のラベルなし SMILES 文字列を用いた事前学習により、大規模で高価なラベル付きデータセットへの依存を低減すること。
• 多様な ADMET タスクにわたる一般化を向上させるために、複雑な化学構造的関係を捉えることのできる基礎モデルアーキテクチャの開発すること。

提案手法

• ラベルなし SMILES 文字列の大規模コーパスにおける自己教師あり事前学習と、ラベル付き ADMET データセットにおけるタスク固有の微調整を組み合わせた二段階訓練パラダイムを採用する。
• 長距離シーケンスモデリングに最適化された状態空間モデル（SSM）の一種たる Mamba アーキテクチャを用い、SMILES シーケンス内の長距離依存関係を捉える。
• 事前学習段階でマスクされたトークンを予測するためのマスク言語モデリング（MLM）目的関数を適用し、化学的文法および構造的パターンの学習を可能にする。
• 回帰（例：LD50）および分類（例：hERG、AMES）タスクの両方を想定した標準的な機械学習ヘッドを用いて、22 種類の多様な ADMET データセット上で事前学習済み Mamba エンコーダーを微調整する。
• SMILES を入力表現として採用することで、化学的意味を保持しつつ、分子シーケンスの効率的処理を可能にする。
• 残差接続と層正則化を統合することで、多様な ADMET 予測タスクにおける訓練の安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Mamba アーキテクチャに基づく基礎モデルは、SMILES 入力のみを用いて、多様な ADMET 性状態を予測する際、既存の最先端手法を上回ることができるか？
• RQ2 大規模なラベルなし SMILES データに対する自己教師あり事前学習は、下流の ADMET 予測性能をどの程度向上させるか？
• RQ3 従来のモデル（GCN、CNN、MLP など）と比較して、Mamba ベースのアーキテクチャは SMILES シーケンス内の長距離化学的依存関係をどの程度効果的に捉えられるか？
• RQ4 提案された二段階訓練戦略（事前学習＋微調整）は、データ分布が異なる多数の ADMET タスクにおいて一貫した性能向上をもたらすか？
• RQ5 化学的および生物学的背景が著しく異なる ADMET エンドポイント間でも、モデルは効果的に一般化できるか？

主な発見

• SMILES-Mamba は 22 個の ADMET 予測タスクのうち 14 個で最高の性能を達成し、多様な薬物性状態エンドポイントにわたる強力な一般化能力を示した。
• hERG データセットでは、AUC-ROC が 0.708 ± 0.045 を達成し、全手法の中で2位にランクされた。ベースラインモデルと比較して、特に安定性の向上が顕著であった。
• DILI データセットでは、AUC-ROC が 0.928 ± 0.022 を達成し、2番目に良い手法（NeuralFP：0.851 ± 0.026）を顕著に上回った。
• 22 タスクのうち 17 個で上位2位の成績を収めたため、多様な ADMET 予測課題において一貫性があり、強固な性能を発揮していることが示された。
• 自己教師あり事前学習が極めて有効であることが実証された。SMILES-Mamba や NeuralFP といったモデルは、事前学習を行わない従来手法を著しく上回った。
• どの1つのモデルもすべてのタスクを支配しなかったため、タスク固有の化学的特徴を捉えるために、アーキテクチャ設計と表現学習の重要性が浮き彫りになった。