[论文解读] IMG2SMI: Translating Molecular Structure Images to Simplified Molecular-input Line-entry System

Daniel Campos, Heng Ji|arXiv (Cornell University)|Sep 3, 2021

Biomedical Text Mining and Ontologies参考文献 52被引用 9

一句话总结

IMG2SMI 提出了一种深度学习模型，通过使用 ResNet-101 主干网络进行特征提取，并采用基于 Transformer 的编码器-解码器架构进行序列生成，将二维分子结构图像转换为 SMILES 字符串。该模型在分子相似性预测方面相比 OSRA 提升了 163%，MACCS Tanimoto 相似度达到 0.9475，并发布了一个包含 8100 万个小分子的新数据集（MOLCAP）用于基准测试。

ABSTRACT

Like many scientific fields, new chemistry literature has grown at a staggering pace, with thousands of papers released every month. A large portion of chemistry literature focuses on new molecules and reactions between molecules. Most vital information is conveyed through 2-D images of molecules, representing the underlying molecules or reactions described. In order to ensure reproducible and machine-readable molecule representations, text-based molecule descriptors like SMILES and SELFIES were created. These text-based molecule representations provide molecule generation but are unfortunately rarely present in published literature. In the absence of molecule descriptors, the generation of molecule descriptors from the 2-D images present in the literature is necessary to understand chemistry literature at scale. Successful methods such as Optical Structure Recognition Application (OSRA), and ChemSchematicResolver are able to extract the locations of molecules structures in chemistry papers and infer molecular descriptions and reactions. While effective, existing systems expect chemists to correct outputs, making them unsuitable for unsupervised large-scale data mining. Leveraging the task formulation of image captioning introduced by DECIMER, we introduce IMG2SMI, a model which leverages Deep Residual Networks for image feature extraction and an encoder-decoder Transformer layers for molecule description generation. Unlike previous Neural Network-based systems, IMG2SMI builds around the task of molecule description generation, which enables IMG2SMI to outperform OSRA-based systems by 163% in molecule similarity prediction as measured by the molecular MACCS Fingerprint Tanimoto Similarity. Additionally, to facilitate further research on this task, we release a new molecule prediction dataset. including 81 million molecules for molecule description generation

研究动机与目标

• 解决从以视觉为主的化学文献中提取机器可读分子表示的挑战，这些文献通常缺乏 SMILES 字符串。
• 克服基于规则的系统（如 OSRA 和 ChemSchematicResolver）需要人工修正、不适用于大规模无监督挖掘的局限性。
• 开发一种端到端的神经网络模型，能够直接从分子结构图像生成准确的 SMILES 字符串。
• 提供一个大规模、公开可用的数据集（MOLCAP），以支持未来在化学文献分析和分子表征学习方面的研究。

提出的方法

• 使用 ResNet-101 主干网络从二维分子结构图像中提取视觉特征。
• 采用基于 Transformer 的编码器-解码器架构，从提取的图像特征生成 SMILES 字符串。
• 借鉴图像字幕生成范式，将其适配到分子描述生成任务。
• 在使用 RDKIT 生成的 8100 万个小分子的合成数据集上进行模型训练，通过改变图像风格、旋转角度和布局来增强多样性。
• 应用数据增强技术（如裁剪、旋转和噪声注入）以提高对分布偏移的鲁棒性。
• 将模型与现有的文档分割工具结合，实现在科学论文中端到端的分子提取。

实验结果

研究问题

• RQ1 在合成分子图像上进行训练的深度学习模型，是否能够在不依赖手工规则的情况下生成准确的 SMILES 字符串？
• RQ2 与传统的基于规则的系统（如 OSRA）相比，视觉-语言模型在分子描述生成任务中的分子相似性表现如何？
• RQ3 数据增强和模型架构选择在多大程度上提升了模型在多样化分子结构和图像变化下的泛化能力？
• RQ4 大规模、公开发布的分子图像与 SMILES 对数据集是否能够促进化学人工智能中更好的预训练和迁移学习？

主要发现

• 在使用 MACCS Tanimoto 相似度度量时，IMG2SMI 在分子相似性预测方面相比 OSRA 提升了 163%，达到 0.9475 的得分。
• 模型的 ROUGE-L 得分达到 0.63，表明其在召回率方面表现良好，但因包含额外或错误的标记而导致精确率较低。
• 精确匹配准确率仅为 7.24%，表明语义相似性与语法正确性之间存在显著差距。
• 基于指纹的度量（MACCS、Morgan、Path）显示出一致的方向性趋势，但在数值上存在差异，其中 MACCS 因子子结构较少而敏感性较低。
• 模型在短分子（<40 个标记）上的表现较差，而传统系统（如 OSRA）在此类分子上更为准确，提示需要采用混合方法。
• MOLCAP 数据集的发布——包含 8100 万个分子-图像对——为未来化学文献人工智能研究提供了大规模基准。