[論文レビュー] ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction

Seyone Chithrananda, Gabriel Grand+1 more|arXiv (Cornell University)|Oct 19, 2020

Computational Drug Discovery Methods参考文献 29被引用数 378

ひとこと要約

ChemBERTaは77M PubChem SMILESを対象としたトランスフォーマーをマスク付き言語モデリングで事前学習し、MoleculeNetの下流タスクで評価を行い、スケーリングの利点を示し、大規模な事前学習用PubChem-77Mデータセットを提供します。

ABSTRACT

GNNs and chemical fingerprints are the predominant approaches to representing molecules for property prediction. However, in NLP, transformers have become the de-facto standard for representation learning thanks to their strong downstream task transfer. In parallel, the software ecosystem around transformers is maturing rapidly, with libraries like HuggingFace and BertViz enabling streamlined training and introspection. In this work, we make one of the first attempts to systematically evaluate transformers on molecular property prediction tasks via our ChemBERTa model. ChemBERTa scales well with pretraining dataset size, offering competitive downstream performance on MoleculeNet and useful attention-based visualization modalities. Our results suggest that transformers offer a promising avenue of future work for molecular representation learning and property prediction. To facilitate these efforts, we release a curated dataset of 77M SMILES from PubChem suitable for large-scale self-supervised pretraining.

研究の動機と目的

• トランスフォーマー型事前学習が分子特性予測性能に与える影響を示す。
• 事前学習データセットのサイズ、トークン化、文字列表現が下流タスクへ与える影響を評価する。
• 自己教師付き事前学習のための大規模で公開可能なSMILESデータセット（PubChem 77M）を提供する。
• この文脈でSMILESとSELFIES表現および2つのトークナイザ（BPEとSmilesTokenizer）を比較する。

提案手法

• 分子文字列向けにRoBERTa系トランスフォーマー（12層、12アテンションヘッド）を適用する。
• 15%のマスキングとシーケンス長512で77M PubChem SMILESを対象にMLMで事前学習する。
• トークナイザ（BPE対SmilesTokenizer）と表現（SMILES対SELFIES）を組み合わせて実験する。
• 80/10/10分割とROC-AUCで早期停止を用いてMoleculeNet分類タスクに対して事前学習済みモデルをファインチューニングする。
• Chempropベースライン（D-MPNN, RF, SVM）と比較して選択タスクでの性能を評価し、事前学習サイズとスケーリングの傾向を分析する。
• BertVizを用いたアテンションの可視化を提供し、モデルヘッドと化学的特徴の関連を示す。

実験結果

リサーチクエスチョン

• RQ1 MLM pretrainingとTransformerアーキテクチャはMoleculeNetタスクにおける分子特性予測を改善するか？
• RQ2 事前学習データセットサイズ（100K–10M）は下流パフォーマンスにどう影響するか？
• RQ3 トークン化戦略（BPE vs SmilesTokenizer）と文字列表現（SMILES vs SELFIES）は結果に大きな影響を与えるか？
• RQ4 アテンションの可視化はトランスフォーマーヘッドにおける化学に関連するパターンを示すか？

主な発見

Task	ChemBERTa 10M ROC-AUC	ChemBERTa 10M PRC-AUC	D-MPNN ROC-AUC	D-MPNN PRC-AUC	RF ROC-AUC	RF PRC-AUC	SVM ROC-AUC	SVM PRC-AUC
BBBP	0.643	0.620	0.708	0.697	0.681	0.692	0.702	0.724
ClinTox (CT_TOX)	0.733	0.975	0.906	0.993	0.693	0.968	0.833	0.986
HIV	0.622	0.119	0.752	0.152	0.780	0.383	0.763	0.364
Tox21 (SR-p53)	0.728	0.207	0.688	0.429	0.724	0.335	0.708	0.345

• ChemBERTaは到達点には近いが、選択されたMoleculeNetタスクで最先端のChempropベースラインを凌駕するには至らない。
• 事前学習サイズを100Kから10Mへ拡大すると、BBB P、ClinTox、Tox21のROC-AUCで系統的な向上（平均Δ ROC-AUC = +0.110、平均Δ PRC-AUC = +0.059）を得られる。
• 10M-PubChem事前学習で、ChemBERTaはBBBP ROC-AUC 0.643、PRC-AUC 0.620、ClinTox ROC-AUC 0.733、PRC-AUC 0.975、HIV ROC-AUC 0.622、PRC-AUC 0.119、Tox21 ROC-AUC 0.728、PRC-AUC 0.207を達成。
• SmilesTokenizerは1つのタスク（Tox21 SR-p53）でBPEをわずかに上回った（PRC-AUC +0.015）。
• SELFIES表現はSMILESと比較してTox21 SR-p53で下流パフォーマンスの有意な差をもたらさなかった。
• BertVizによるアテンション可視化は、ヘッドが官能基・芳香環に選択的に注意を向け、一部のヘッドは括弧状構造を追跡するなど、特定のグラフアテンションパターンに類似することを示した。