[論文レビュー] Predictive Chemistry Augmented with Text Retrieval

Yujie Qian, Zhening Li+3 more|arXiv (Cornell University)|Dec 8, 2023

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

TextReactは、科学文献のテキストを分子反応表現と照合・整列させることで、予測化学モデルの性能を向上させる画期的なフレームワークを提案する。テキスト検索とマスク言語モデル化の目的関数を統合することで、TextReactは最先端の性能を達成し、分子データのみで訓練されたモデルと比較して、反応条件推薦タスクでトップ1精度が58.4%向上し、1ステップの逆合成タスクで13.6–15.7%向上した。

ABSTRACT

This paper focuses on using natural language descriptions to enhance predictive models in the chemistry field. Conventionally, chemoinformatics models are trained with extensive structured data manually extracted from the literature. In this paper, we introduce TextReact, a novel method that directly augments predictive chemistry with texts retrieved from the literature. TextReact retrieves text descriptions relevant for a given chemical reaction, and then aligns them with the molecular representation of the reaction. This alignment is enhanced via an auxiliary masked LM objective incorporated in the predictor training. We empirically validate the framework on two chemistry tasks: reaction condition recommendation and one-step retrosynthesis. By leveraging text retrieval, TextReact significantly outperforms state-of-the-art chemoinformatics models trained solely on molecular data.

研究の動機と目的

• 構造化された分子データに依存するのではなく、文献からの非構造的科学的テキストを統合することで予測化学モデルの性能を向上させること。
• 既存の化学情報学モデルが分子符号化のみに依存するという限界を是正すること。これは、公開された反応から得られる文脈的情報を欠いている可能性があるため。
• 分子表現と関連するテキスト記述を統合する、リtrieバル拡張型のフレームワークを開発し、予測精度と一般化性能を向上させること。
• 反応条件推薦と1ステップの逆合成という2つの核心的化学タスクにおいて、アプローチの有効性を検証すること。
• 訓練時にゴールドスタンダードのテキストが除外されても、テキスト検索がモデル性能を顕著に向上させることを示し、一般化性能の高さを実証すること。

提案手法

• TextReactは、対照的学習を用いて、与えられた反応（SMILES形式）を非ラベル付きコーパス内の関連するテキスト記述にマッピングするSMILESからテキストへのリtrieバを採用する。
• フレームワークは、入力反応と取得したテキスト埋め込みを同時に符号化するテキスト拡張予測器を用いる。
• 訓練中に、反応とその対応するテキストの表現を整列させるために、補助的なマスク言語モデル化（MLM）目的関数を組み込む。これにより、クロスモーダル理解が向上する。
• 訓練時に最も近いテキスト記述を除外するデータ拡張戦略を採用することで、未観測の反応クラスに対する一般化性能を向上させる。
• 取得したテキストは個別に処理するのではなく、連結して同時に符号化する。これにより、モデルは複数の証拠源を同時に考慮して推論できる。
• テキストエンコーダーの初期化に事前学習済みのSciBERTを用いることで、科学的言語に事前に露出された経験により性能が向上する。

Figure 1: Predictive chemistry augmented with text retrieval. For example, given the task of reaction condition recommendation, we retrieve texts relevant to the input reaction to provide additional evidence for the model’s prediction. The two retrieved texts describe similar reactions to the input

実験結果

リサーチクエスチョン

• RQ1 文献から関連する科学的テキスト記述を検索することで、予測化学モデルの性能を顕著に向上させることができるか？
• RQ2 取得したテキストを分子表現と統合することにより、特に未観測の反応タイプにおいてモデルの一般化性能にどのような影響を与えるか？
• RQ3 補助的なマスク言語モデル化（MLM）目的関数は、化学予測の文脈において、分子表現とテキスト表現の整列を向上させるか？
• RQ4 構造化された分子データにのみ訓練された最先端モデルと比較して、TextReactの性能はどの程度向上するか？
• RQ5 取得したテキストの質（例：入力反応との類似度）が予測精度にどの程度影響を与えるか？

主な発見

• TextReactは、分子データのみで訓練された最先端モデルと比較して、反応条件推薦タスクでトップ1精度が58.4%の絶対的向上を達成した。
• 1ステップの逆合成タスクでは、分子データのみで訓練されたベースラインモデルと比較して、トップ1精度が13.6–15.7%向上した。
• ゴールドスタンダードのテキストが訓練コーパスに含まれない場合でも、モデルは強固な性能を維持しており、未観測の反応クラスへの一般化性能が優れていることを示した。
• アブレーションスタディの結果、マスク言語モデル化（MLM）目的関数を削除すると性能が低下し、テキストと分子表現の整列にその有効性が確認された。
• 個別に予測をアンサンブルするのではなく、取得したテキストを統合的に符号化することで、より高い性能が得られた。これは、エンドツーエンド統合の利点を示している。
• TextReactは、標準的なTransformerベースラインと比較して、訓練データの10%のみで優れた結果を達成した。これは、データ効率性の高さを示している。

Figure 2: One-step retrosynthesis, another predictive chemistry task studied in this paper.