[论文解读] MoleHD: Automated Drug Discovery using Brain-Inspired Hyperdimensional Computing.

Dongning Ma, Xun Jiao|arXiv (Cornell University)|Jun 5, 2021

Ferroelectric and Negative Capacitance Devices参考文献 19被引用 4

一句话总结

MoleHD 提出了一种受大脑启发的高维计算（HDC）方法，用于分子性质预测，通过 SMILE-PE 分词和 HDC 编码将 SMILES 字符串转换为高维向量。它在 30 个分类任务上优于 10 种基线方法（包括 6 种最先进神经网络），且计算成本显著降低，标志着首个在药物发现中应用 HDC 的方法。

ABSTRACT

Modern drug discovery is often time-consuming, complex and cost-ineffective due to the large volume of molecular data and complicated molecular properties. Recently, machine learning algorithms have shown promising results in virtual screening of automated drug discovery by predicting molecular properties. While emerging learning methods such as graph neural networks and recurrent neural networks exhibit high accuracy, they are also notoriously computation-intensive and memory-intensive with operations such as feature embeddings or deep convolutions. In this paper, we propose a viable alternative to neural network classifiers. We present MoleHD, a method based on brain-inspired hyperdimensional computing (HDC) for molecular property prediction. We first transform the SMILES presentation of molecules into feature vectors by SMILE-PE tokenizers pretrained on the ChEMBL database. Then, we develop HDC encoders to project such features into high-dimensional vectors that are used for training and inference. We perform an extensive evaluation using 30 classification tasks from 3 widely-used molecule datasets and compare MoleHD with 10 baseline methods including 6 SOTA neural network classifiers. Results show that MoleHD is able to outperform all the baseline methods on average across 30 classification tasks with significantly reduced computing cost. To the best of our knowledge, we develop the first HDC-based method for drug discovery. The promising results presented in this paper can potentially lead to a novel path in drug discovery research.

研究动机与目标

• 解决深度学习模型在分子性质预测中计算和内存需求高的问题。
• 探索受大脑启发的高维计算作为神经网络在药物发现中低成本替代方案的潜力。
• 开发一种可扩展且高效的虚拟筛选方法，利用分子的高维向量表示。
• 证明基于 HDC 的模型可在显著降低推理和训练成本的前提下实现最先进性能。

提出的方法

• 使用在 ChEMBL 数据库上预训练的 SMILE-PE 分词器，将分子 SMILES 字符串转换为标记化表示。
• 使用自定义的 HDC 编码器，将标记化特征编码为高维二值向量。
• 将生成的高维向量用作分类任务中训练和推理的输入。
• 在 HDC 编码向量上应用简单分类器（如余弦相似度或多数投票）进行预测。
• 利用 HDC 的内在鲁棒性和稀疏性，实现高效计算和抗噪声能力。
• 在来自三个标准数据集的 30 个多样化分子分类任务上训练并评估模型。

实验结果

研究问题

• RQ1 高维计算能否在分子性质预测任务中显著降低计算成本的前提下，超越深度学习模型？
• RQ2 基于 HDC 的模型在多样化分子分类基准上的性能，与最先进神经网络相比如何？
• RQ3 SMILE-PE 分词器结合 HDC 编码，在下游预测中对分子语义的保留程度如何？
• RQ4 基于 HDC 的模型能否在化学空间复杂度各异的多样化分子数据集上实现良好泛化？

主要发现

• MoleHD 在 30 个分子分类任务的平均表现上优于全部 10 种基线方法，包括 6 种最先进神经网络分类器。
• 与深度学习模型相比，该方法在计算和内存需求方面显著降低，同时实现更优或具有竞争力的性能。
• SMILE-PE 分词器的使用能够有效从 SMILES 字符串中提取特征，为 HDC 编码奠定坚实基础。
• MoleHD 在多样化数据集上表现出稳健的泛化能力，表明 HDC 表示具有强大的可迁移性。
• 结果验证了高维计算作为药物发现流程中深度学习的可行且高效替代方案。
• 本工作首次成功将 HDC 应用于分子性质预测，为自动化药物发现开辟了新路径。