Skip to main content
QUICK REVIEW

[論文レビュー] ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction

Seyone Chithrananda, Gabriel Grand|arXiv (Cornell University)|Oct 19, 2020
Computational Drug Discovery MethodsComputer Science参考文献 29被引用数 378
ひとこと要約

ChemBERTaは77M PubChem SMILESを対象としたトランスフォーマーをマスク付き言語モデリングで事前学習し、MoleculeNetの下流タスクで評価を行い、スケーリングの利点を示し、大規模な事前学習用PubChem-77Mデータセットを提供します。

ABSTRACT

GNNs and chemical fingerprints are the predominant approaches to representing molecules for property prediction. However, in NLP, transformers have become the de-facto standard for representation learning thanks to their strong downstream task transfer. In parallel, the software ecosystem around transformers is maturing rapidly, with libraries like HuggingFace and BertViz enabling streamlined training and introspection. In this work, we make one of the first attempts to systematically evaluate transformers on molecular property prediction tasks via our ChemBERTa model. ChemBERTa scales well with pretraining dataset size, offering competitive downstream performance on MoleculeNet and useful attention-based visualization modalities. Our results suggest that transformers offer a promising avenue of future work for molecular representation learning and property prediction. To facilitate these efforts, we release a curated dataset of 77M SMILES from PubChem suitable for large-scale self-supervised pretraining.

研究の動機と目的

  • トランスフォーマー型事前学習が分子特性予測性能に与える影響を示す。
  • 事前学習データセットのサイズ、トークン化、文字列表現が下流タスクへ与える影響を評価する。
  • 自己教師付き事前学習のための大規模で公開可能なSMILESデータセット(PubChem 77M)を提供する。
  • この文脈でSMILESとSELFIES表現および2つのトークナイザ(BPEとSmilesTokenizer)を比較する。

提案手法

  • 分子文字列向けにRoBERTa系トランスフォーマー(12層、12アテンションヘッド)を適用する。
  • 15%のマスキングとシーケンス長512で77M PubChem SMILESを対象にMLMで事前学習する。
  • トークナイザ(BPE対SmilesTokenizer)と表現(SMILES対SELFIES)を組み合わせて実験する。
  • 80/10/10分割とROC-AUCで早期停止を用いてMoleculeNet分類タスクに対して事前学習済みモデルをファインチューニングする。
  • Chempropベースライン(D-MPNN, RF, SVM)と比較して選択タスクでの性能を評価し、事前学習サイズとスケーリングの傾向を分析する。
  • BertVizを用いたアテンションの可視化を提供し、モデルヘッドと化学的特徴の関連を示す。

実験結果

リサーチクエスチョン

  • RQ1MLM pretrainingとTransformerアーキテクチャはMoleculeNetタスクにおける分子特性予測を改善するか?
  • RQ2事前学習データセットサイズ(100K–10M)は下流パフォーマンスにどう影響するか?
  • RQ3トークン化戦略(BPE vs SmilesTokenizer)と文字列表現(SMILES vs SELFIES)は結果に大きな影響を与えるか?
  • RQ4アテンションの可視化はトランスフォーマーヘッドにおける化学に関連するパターンを示すか?

主な発見

  • ChemBERTaは到達点には近いが、選択されたMoleculeNetタスクで最先端のChempropベースラインを凌駕するには至らない。
  • 事前学習サイズを100Kから10Mへ拡大すると、BBB P、ClinTox、Tox21のROC-AUCで系統的な向上(平均Δ ROC-AUC = +0.110、平均Δ PRC-AUC = +0.059)を得られる。
  • 10M-PubChem事前学習で、ChemBERTaはBBBP ROC-AUC 0.643、PRC-AUC 0.620、ClinTox ROC-AUC 0.733、PRC-AUC 0.975、HIV ROC-AUC 0.622、PRC-AUC 0.119、Tox21 ROC-AUC 0.728、PRC-AUC 0.207を達成。
  • SmilesTokenizerは1つのタスク(Tox21 SR-p53)でBPEをわずかに上回った(PRC-AUC +0.015)。
  • SELFIES表現はSMILESと比較してTox21 SR-p53で下流パフォーマンスの有意な差をもたらさなかった。
  • BertVizによるアテンション可視化は、ヘッドが官能基・芳香環に選択的に注意を向け、一部のヘッドは括弧状構造を追跡するなど、特定のグラフアテンションパターンに類似することを示した。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。