[論文レビュー] BERTChem-DDI : Improved Drug-Drug Interaction Prediction from text using Chemical Structure Information

Ishani Mondal|arXiv (Cornell University)|Dec 21, 2020

Computational Drug Discovery Methods参考文献 16被引用数 10

ひとこと要約

本稿では、Biomedicalテキストからのコンテキスト埋め込み（BioBERTベース）と、SMILESで符号化された分子から得られる化学構造表現（Variational Autoencoder: ChemVAEを用いて）を統合することで、Drug-Drug Interaction (DDI)予測を向上させる新規手法BERTChem-DDIを提案する。DDIExtraction 2013データセットにおいて、強力なベースラインより3.4%のmacro F1スコア向上を達成し、分子構造情報の統合が生物医学的NLPにおける関係分類性能を顕著に向上させることを示している。

ABSTRACT

Traditional biomedical version of embeddings obtained from pre-trained language models have recently shown state-of-the-art results for relation extraction (RE) tasks in the medical domain. In this paper, we explore how to incorporate domain knowledge, available in the form of molecular structure of drugs, for predicting Drug-Drug Interaction from textual corpus. We propose a method, BERTChem-DDI, to efficiently combine drug embeddings obtained from the rich chemical structure of drugs along with off-the-shelf domain-specific BioBERT embedding-based RE architecture. Experiments conducted on the DDIExtraction 2013 corpus clearly indicate that this strategy improves other strong baselines architectures by 3.4\% macro F1-score.

研究の動機と目的

• 生物医学的テキストからのDrug-Drug Interaction (DDI)予測を、ドメイン固有の化学構造知識を統合することで向上させること。
• SMILESを用いた変分オートエンコーダー（Variational Autoencoder）から得られる分子表現が、DDI抽出における関係分類性能を向上させるかどうかを検証すること。
• テクスト的文脈と化学構造埋め込みを統合的に活用する統一フレームワークを構築すること。
• DDIExtraction 2013ベンチマークデータセットにおいて、新たなSOTA性能を確立すること。

提案手法

• モデルは、文内の薬剤名に適用されるBioBERTベースのコンテキスト埋め込みを用い、エンティティトークンの最終隠れ状態からプーリングされた表現を利用する。
• 薬剤固有の表現は、トークン埋め込みの平均プーリングにより得られ、その後、共有パラメータを持つ全結合層を経て文脈に適応したエンティティベクトルが生成される。
• 別途、ZINCおよびDrugBankの正規化SMILES文字列を用いて、化学構造の低次元潜在表現を学習するためのChemVAEを訓練する。
• 最終的なモデル、BERTChem-DDIは、[CLS]トークン表現と、テキストおよび化学からの2つのエンティティ表現を連結し、全結合層とソフトマックスを経て分類を行う。
• 化学構造埋め込みは、事前に訓練済みのChemVAEから得られる292次元の潜在ベクトルを初期値とし、BERTパラメータとともに微調整される。
• モデルは、交差エントロピー損失関数とAdam最適化アルゴリズムを用い、バッチサイズ16、エポック数5、シーケンス長300を上限として、エンドツーエンドで学習される。

Figure 1: Schematic Representation of BERTChem-DDI with the input sentence “Glepafloxain is a competitive inhibitor of the metabolism of Theophylline” tagged with two drug entities Glepafloxacin and Theophylline .

実験結果

リサーチクエスチョン

• RQ1 SMILES表現から得られる分子構造情報の統合は、テキストベースのDDI関係分類性能を向上させることができるか？
• RQ2 化学的に情報化された埋め込みの追加が、異なるDDI関係タイプにおける性能に与える影響は何か？
• RQ3 ドメイン特化された生物医学的言語表現と化学構造埋め込みを統合することで、DDIExtraction 2013ベンチマークで新たなSOTA結果が達成できるか？
• RQ4 性能向上に寄与する主な要因は、テキスト的文脈か、化学構造か？

主な発見

• BioBERT v1.0 PubMed PMCを用いた最良のBERT-DDIモデルは、macro F1スコア0.822を達成し、他のコンテキスト埋め込みバリアントを上回った。
• 最良のBERT-DDIモデルにChemVAEから得た化学構造埋め込みを追加したところ、macro F1スコアが1.6%向上し、0.838に達した。
• 性能向上は、Mechanism（3.2%）およびAdvice（2.11%）関係タイプで最も顕著であり、構造情報が薬理的メカニズムの理解を支援していることを示唆している。
• BERTChem-DDIは、DDIExtraction 2013データセットで新たなSOTAを達成し、macro F1スコア0.838を記録した。既存のベースラインより3.4%の向上を達成した。
• アブレーションスタディの結果、ドメイン特化埋め込み（BioBERT）が不可欠であることが確認され、一般ドメインBERTを用いた場合に比べ2.3%の性能向上が得られた。
• ChemVAEモデルは、SMILES文字列から意味のある分子表現を効果的に学習できており、DDI分類パイプラインに統合された際も有効であった。