[論文レビュー] Multimodal Transformer-based Model for Buchwald-Hartwig and Suzuki-Miyaura Reaction Yield Prediction

Shimaa Baraka, Ahmed M. El Kerdawy|arXiv (Cornell University)|Apr 27, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本稿では、Buchwald–HartwigおよびSuzuki–Miyauraカップリング反応における収率予測を目的として、SMILES表現と化学的記述子を統合するマルチモーダルなTransformerベースのモデルを提案する。SMILES用に微調整されたBERTエンコーダーと、記述子用の多層パーセプトロンを融合することで、Buchwald–HartwigデータでRMSE 5.5、R² 0.959の最先端性能を達成し、実験的最適条件に近い反応条件を効果的に提案した。その結果、報告された最大収率の94％に達した。

ABSTRACT

Predicting the yield percentage of a chemical reaction is useful in many aspects such as reducing wet-lab experimentation by giving the priority to the reactions with a high predicted yield. In this work we investigated the use of multiple type inputs to predict chemical reaction yield. We used simplified molecular-input line-entry system (SMILES) as well as calculated chemical descriptors as model inputs. The model consists of a pre-trained bidirectional transformer-based encoder (BERT) and a multi-layer perceptron (MLP) with a regression head to predict the yield. We experimented on two high throughput experimentation (HTE) datasets for Buchwald-Hartwig and Suzuki-Miyaura reactions. The experiments show improvements in the prediction on both datasets compared to systems using only SMILES or chemical descriptors as input. We also tested the model's performance on out-of-sample dataset splits of Buchwald-Hartwig and achieved comparable results with the state-of-the-art. In addition to predicting the yield, we demonstrated the model's ability to suggest the optimum (highest yield) reaction conditions. The model was able to suggest conditions that achieves 94% of the optimum reported yields. This proves the model to be useful in achieving the best results in the wet lab without expensive experimentation.

研究の動機と目的

• 単一モダリティのアプローチを超えて、SMILESと化学的記述子の複数のデータモダリティを統合することで、反応収率予測の精度を向上させること。
• 分布シフトにさらされても一般化可能な能力を有する深層学習モデルの開発。
• 高価な実験的試行を伴わず、高収率を達成する反応条件の提案を可能にすること。
• Buchwald–HartwigおよびSuzuki–Miyauraの2つの主要なカップリング反応について、高スルーレット実験（HTE）データセットを用いた性能評価。

提案手法

• 本モデルは、反応物の構造的表現を学習するために、SMILES文字列で微調整された事前学習済み双方向Transformerエンコーダー（BERT）を採用する。
• 化学的記述子は、電子的および立体的特徴を含む分子性質を符号化するため、多層パーセプトロン（MLP）を用いて処理される。
• SMILESブランチと記述子ブランチの出力を連結し、回帰ヘッドを通過させて反応収率を予測する。
• 本モデルは、3,955件のデータポイントを有するBuchwald–Hartwigおよび5,760件のデータポイントを有するSuzuki–Miyauraの2つのHTEデータセット上で、70/30の訓練・テスト分割を用いてエンドツーエンドで訓練される。
• ハイパーパramータ最適化は、最初のfoldの訓練セットの1/7を用いて実施され、公平な比較のため、先行研究に準拠する。
• 本モデルの最適条件提案能力は、上位k件の予測された条件を実験的に報告された最良収率と比較することで評価される。

実験結果

リサーチクエスチョン

• RQ1 SMILESと化学的記述子を統合することで、単一モダリティのモデルに比べ、収率予測の精度が向上するか？
• RQ2 添加剤やリガンドに分布シフトが生じた場合を含め、アウトオブ分布のテストセットに対して、マルチモーダルモデルの一般化性能はどの程度高いか？
• RQ3 実験的に報告された最適収率に近い収率を達成する反応条件を、どの程度の確度でモデルが提案できるか？
• RQ4 分布シフトが生じた場合でも、本モデルの性能は、最先端モデルと同等に維持されるか？

主な発見

• マルチモーダルモデルは、Buchwald–HartwigデータセットでRMSE 5.5 ± 0.3、R² 0.959 ± 0.005を達成し、SMILESや記述子のみを用いたモデルを上回った。
• Suzuki–Miyauraデータセットでは、RMSE 11.5 ± 0.3、R² 0.833 ± 0.01を達成し、単一モダリティベースラインに対して一貫した改善を示した。
• 未知のイソオキazole添加剤を含むアウトオブサンプルのBuchwald–Hartwigテストセットでは、平均R²が0.72に達し、最先端モデルと同等の性能を示した。
• 15組の反応物ペアに対して、モデルが提案した反応条件の平均収率は0.82であり、報告された最適収率（0.87）の94％に達した。
• 上位k%の予測に真の最適条件が含まれる確率は、上位30％の予測で86.6％に達し、実用的価値が明確に示された。
• Suzuki–Miyauraにおいて、テストセットのリガンドがトレーニングセットと完全に不一致の場合、性能が著しく低下（R² = 0.2 ± 0.25）し、分布シフトに対してより感受性が高いことが示された。