[論文レビュー] IMG2SMI: Translating Molecular Structure Images to Simplified Molecular-input Line-entry System

Daniel Campos, Heng Ji|arXiv (Cornell University)|Sep 3, 2021

Biomedical Text Mining and Ontologies参考文献 52被引用数 9

ひとこと要約

IMG2SMIは、特徴抽出にResNet-101バックボーンを、シーケンス生成にTransformerベースのエンコーダデコーダアーキテクチャを用いる深層学習モデルであり、2次元分子構造画像をSMILES文字列に変換する。OSRAより分子類似度予測で163%の向上を達成し、MACCSTanimoto類似度が0.9475に達する。また、ベンチマーク用に8100万分子の新規データセット（MOLCAP）を提供する。

ABSTRACT

Like many scientific fields, new chemistry literature has grown at a staggering pace, with thousands of papers released every month. A large portion of chemistry literature focuses on new molecules and reactions between molecules. Most vital information is conveyed through 2-D images of molecules, representing the underlying molecules or reactions described. In order to ensure reproducible and machine-readable molecule representations, text-based molecule descriptors like SMILES and SELFIES were created. These text-based molecule representations provide molecule generation but are unfortunately rarely present in published literature. In the absence of molecule descriptors, the generation of molecule descriptors from the 2-D images present in the literature is necessary to understand chemistry literature at scale. Successful methods such as Optical Structure Recognition Application (OSRA), and ChemSchematicResolver are able to extract the locations of molecules structures in chemistry papers and infer molecular descriptions and reactions. While effective, existing systems expect chemists to correct outputs, making them unsuitable for unsupervised large-scale data mining. Leveraging the task formulation of image captioning introduced by DECIMER, we introduce IMG2SMI, a model which leverages Deep Residual Networks for image feature extraction and an encoder-decoder Transformer layers for molecule description generation. Unlike previous Neural Network-based systems, IMG2SMI builds around the task of molecule description generation, which enables IMG2SMI to outperform OSRA-based systems by 163% in molecule similarity prediction as measured by the molecular MACCS Fingerprint Tanimoto Similarity. Additionally, to facilitate further research on this task, we release a new molecule prediction dataset. including 81 million molecules for molecule description generation

研究の動機と目的

• 化学文献は主に視覚的であり、SMILES文字列を欠いているため、その中から機械可読な分子表現を抽出する課題に対処する。
• 手作業での修正を要するルールベースのシステム（OSRA や ChemSchematicResolver）の限界を克服し、大規模かつ教師なしマイニングに適した手法を提供する。
• 分子構造画像から直接正確なSMILES文字列を生成できるエンドツーエンドのニューラルネットワークモデルを開発する。
• 今後の化学文書解析や分子表現学習研究を支援するため、大規模かつ公開可能なデータセット（MOLCAP）を提供する。

提案手法

• 2次元分子構造画像からの視覚的特徴抽出にResNet-101バックボーンを活用する。
• 抽出された画像特徴からSMILES文字列を生成するため、Transformerベースのエンコーダデコーダアーキテクチャを採用する。
• 画像キャプション生成のパラダイムを応用し、分子記述生成タスクに適応する。
• RDKITを用いてSMILES文字列から画像スタイル、回転、レイアウトを変化させた合成データセット（8100万分子）を用いてモデルを学習する。
• 分布シフトに強い性能を発揮するよう、クロッピング、回転、ノイズ注入などのデータ拡張技術を適用する。
• 既存のドキュメントセグメンテーションツールと統合することで、科学論文からのエンドツーエンドの分子抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 手作業によるルール依存なしに、合成分子画像で学習した深層学習モデルが正確なSMILES文字列を生成できるか？
• RQ2 分子記述タスクにおける視覚言語モデルの性能は、OSRAのような従来のルールベースシステムと比較して、分子類似度の観点でどのように差がつくか？
• RQ3 データ拡張とモデルアーキテクチャの選択が、多様な分子構造や画像変化にわたる一般化性能をどの程度向上させるか？
• RQ4 大規模かつ公開された分子画像とSMILESペアのデータセットが、化学AI分野における事前学習や転移学習の向上に寄与できるか？

主な発見

• IMG2SMIは、MACCSTanimoto類似度指標を用いてOSRAより163%高い分子類似度予測性能を達成し、スコアは0.9475に達する。
• ROUGE-Lスコアは0.63を記録し、トークンのリCALLが強いが、余分または誤ったトークンが含まれるため、精度は低い。
• 正確一致精度はたったの7.24%であり、意味的類似度と文法的正しさの間には顕著なギャップがあることが示された。
• フィンガープrintベースの指標（MACCS、Morgan、Path）は一貫した傾向を示すが、スコアの大きさには差異があり、MACCSはサブ構造が少ないため感度が低い。
• 短い分子（40トークン未満）では、従来のシステム（OSRA）に比べて性能が著しく劣るため、ハイブリッドアプローチの必要性が示唆された。
• 8100万個の分子画像ペアを含むMOLCAPデータセットのリリースにより、化学文書AI分野における今後の研究のための大規模ベンチマークが提供された。